购物返利

当前位置:主页 > 购物返利 >

专门针对卷积神经网络进行了优化

时间:2018-07-18 09:49 作者:admin 点击:

  在这个数据集的帮助下,Yann LeCun在三个月内便打造并训练了第一个版本的卷积神经网络LeNet one,在字母识别上取得了有史以来最高的准确率,也正式标志着卷积神经网络的诞生。
 
  不过,Yann LeCun的研究并没有止步在软件层面。1989年,Yann LeCun与实验室的其他实验员Bernhard Boser、Edi Sackinger等人共同撰写了一篇新论文,介绍了他们所研制的一款名为“ANNA”的神经网络芯片。
 
  “ANNA”神经网络芯片“ANNA”神经网络芯片
 
  ANNA中包括64个计算单元,专门针对卷积神经网络进行了优化,其峰值吞吐量为每秒40亿次加法。
 
  虽然在此之前,神经网络作为一个新兴的研究方向已然小有名气,有不少研究人员也尝试打造过神经网络芯片,但它们都无法放在板级(Board-Level)测试环境中,也就无法在真实世界中应用。
 
  除了ANNA之外,贝尔实验室还曾在1991年打造过一款Net32K芯片。在Yann LeCun等人随后发布了一系列论文中,他们不仅介绍了ANNA在板级测试中的优秀表现,还展示了ANNA在利用卷积神经网络在文本倾斜检测、手写数字识别等应用上的优异表现(比单独的DSP快10到100倍),让ANNA当之无愧地成为了世界上第一块“能用的”人工智能芯片。在这个传奇的实验室里,不仅诞生了7位诺贝尔奖获得者,还是诞生了世界上第一个晶体管、蜂窝式电话系统、通讯卫星、有声电影、太阳能电池、C/C++语言、UNIX系统……
 
  不仅如此,世界上第一块人工智能芯片也同样诞生于此。1992年,马克·扎克伯格只有8岁,离他后来创办世界第一大社交网络Facebook还有12年时间,离“卷积神经网络之父”Yann LeCun加入Facebook人工智能研究院还有21年。
 
  就在这一年,世界上第一块——同时也被当时研究频频受挫的Yann LeCun称为“可能是世界上最后一块”——神经网络芯片ANNA,就诞生AT&T贝尔实验室里。
 
  1992年的AT&T贝尔实验室一景1992年的AT&T贝尔实验室一景
 
  ANNA之兴与卷积神经网络之衰
 
  众所周知,无论是“人工智能”、“深度学习”还是“神经网络”,这些近年来大火的概念其实都可以追溯到几十年前。但由于这些算法对于数据与计算量都有着极大的要求,当时的软硬件条件都无法满足,因而这类研究一直到近些年才大火起来。
 
  不过,即便在众人并不看好深度学习的年月里,依然有一小群在“神经网络寒冬”里也坚持信念的科学家们,Yann LeCun就是其中一个。
 
  1988年10月,在学习完神经科学、芯片设计,并师从多伦多大学深度学习鼻祖Geoffrey Hinton后,年仅27岁的年轻博士后Yann LeCun来到美国新泽西州,正式成为传奇的AT&T贝尔实验室的一员。
 
  在当时的贝尔实验室里,已经有一组研究员在进行英文字母识别的研究,并且积累下了一个拥有5000个训练样本的USPS数据集——这在当时已经是一个非常庞大的数据集。