高效的内存处理器芯片可加速AI推理

时间:2020-07-20 15:04:37来源:
导读 Imec和GlobalFoundries已展示了一种内存处理器芯片,该芯片可以实现高达2900 TOPS W的能效,比当今的商用内存处理器芯片高约两个数量

Imec和GlobalFoundries已展示了一种内存处理器芯片,该芯片可以实现高达2900 TOPS / W的能效,比当今的商用内存处理器芯片高约两个数量级。该芯片采用了既定的思想,即模拟计算,并在GlobalFoundries的22nm完全耗尽绝缘体上硅(FD-SOI)工艺技术中的SRAM中实现。Imec的模拟内存计算(AiMC)将作为一项功能提供给GlobalFoundries客户,该功能可以在公司的22FDX平台上实现。

由于神经网络模型可能具有数以千万计的权重,因此在内存和处理器之间来回发送数据效率很低。模拟计算使用存储器阵列来存储权重,并且还执行乘法累加(MAC)操作,因此无需进行存储器到处理器的传输。每个忆阻器元件(也许是ReRAM单元)的电导率都编程为与所需重量成比例的模拟水平。

施加与输入激活成比例的电压(通过数模转换-在下图的左侧)意味着通过每个元件的电流与激活与重量的乘积成比例。流过每条垂直位线(下图中的垂直线)的电流是这些激活权重乘积的总和,可以通过模数转换器馈送电流。激活权积的总和对于神经网络算法的计算至关重要。

“在实践中,除了ReRAM以外,还有许多其他选择–我们可以使用MRAM,Flash,DRAM……该程序的目的是了解最适合该应用程序的应用程序,并针对每个应用程序域优化这些选项,”该程序的Diederik Verkest解释说。 Imec机器学习总监。

测试芯片

Imec基于GlobalFoundries的22nm FD-SOI工艺构建了一个称为模拟推理加速器(AnIA)的测试芯片。AnIA的512k SRAM单元阵列以及包括1024个DAC和512个ADC的数字基础架构占用4mm 2的空间。它可以执行大约一百万

基于6位(加号位)输入激活,三进制权重(-1、0,+ 1)和6位输出的每个操作周期的计算。

Imec机器学习小组的Ioannis Papistas说:“我们能够在0.8和0.6V的不同电源电压下产生矩阵矢量乘法输出。” 在较低的电源电压下运行而不影响操作的准确性可以显着降低操作的功耗,这对于推断能量受限系统特别重要。这是我们设计的一项重要功能,通过22FDX流程实现,可以在边缘进行竞争性推理。”

Imec在CIFAR 10数据集上显示了对象识别推理的准确性结果,与类似的量化基准相比,该结果仅下降了一个百分点。在0.8 V的电源电压下,在23.5 TOPS时AnIA的能效在1050至1500 TOPS / W之间。对于0.6 V的电源电压,AnIA在1800-2900 TOPS / W左右达到了5.8 TOPS。

最新文章