深入学习需要大量的计算,这些计算通常在消耗大量功率的高性能处理器上进行。但是,将深入学习的功率传给传感器和智能手机等物联网边缘设备,需要高度节能的集成电路(IC),而这些集成电路可执行大量必要操作,同时仅消耗极低的能源。
在冯·诺依曼(von Neumann)型2计算机体系结构中,多数能源是在将数据从芯片上或芯片外内存设备传输至处理单元时所消耗。减少基准移动的*高效方式是配置大量处理单元,而每个单元均专用于处理位于附近的**基准。这些基准点在输入信号(例如,一只猫的图像)转换为输出信号(例如猫图像识别)过程中被赋予权重。基准点离期望的输出越近,所赋予的权重越高。该权重提供用于自动指导深入学习处理的参数。
大脑具有类似的体系结构,因为神经元(权重数据)之间的耦合强度内置于神经键(处理单元)中。在这种情况下,神经键即是神经元之间的连接,而且每个神经键均具有不同的强度。该强度(权重)决定通过连接的信号。神经键用这种方式执行一种处理方式。这种可称为完全空间展开结构的体系结构颇为引人注目,但是它也存在明显的缺点——在芯片上复制需要大量能够快速变大的运算电路。
东芝的TDNN采用2013年开发的时域模拟与数字混合信号处理(TDAMS3)技术,可实现处理单元微型化。在TDAMS中,加法等运算操作通过将穿过逻辑门的数字信号延时作为模拟信号来高效执行。利用这种技术,深入学习处理单元可以只包含三个逻辑门及采用完全空间展开结构的1位存储器。东芝已制造出概念应证芯片,这种芯片将静态随机存取存储器(SRAM)单元作为存储器,并且可识别手写数字。每次操作的能耗为20.6 fJ4,比之前在某重要会议上报告的低六分之一5。
东芝计划将TDNN作为电阻式随机存取存储器(ReRAM)开发,以进一步提高能效和面积效率。其目标是集成电路可在边缘设备上实现高性能深入学习技术。
TDNN:采用时域模拟与数字混合信号处理技术的神经网络
冯·诺依曼型:应用*广泛的标准计算机体系结构。该体系结构可将存储设备的数据加载到用于处理的处理单元上。
TDAMS:一种模拟信号处理技术,将穿过逻辑门的数字信号延时作为模拟信号。由东芝开发。(参考:http://www.toshiba.co.jp/about/press/2013_02/pr2101.htm)
20.6fJ:相当于每秒进行48.6万亿次操作性能,功耗为1 W。
2016年国际固态电路会议(ISSCC 2016)论文编号24.2