荷兰Innatera公司推出“神经形态微控制器”，将AI加速器信息处理速度提高100倍

神经形态芯片初创公司Innatera最近推出其“神经形态微控制器”，生产了其脉冲神经网络加速器，专为消费电子和物联网中始终在线的传感应用而设计，与传统的微控制器相比，神经形态微控制器在处理信息时具有更高的能效和性能。

该公司是为数不多的拥有基于大脑启发的脉冲神经网络技术的硬件开发套件的公司之一。

“以前的原型不包括CPU，因为我们正在完善神经形态结构本身，”Kumar说。“但归根结底，解决方案必须是SoC。我们希望成为传感器与之对话的第一款芯片，对于大多数消费类和物联网设备，需要非常小的外形尺寸。作为微控制器，应用开发人员能够完成芯片内的所有操作。”

T1 芯片的 CPU 采用小型 RISC-V 设计，具有标准传感器接口。它执行内务处理任务，但也允许用户配置传感器以控制传感器和 T1 之间的数据流，从而从应用处理器卸载任务。如果需要，CPU 还可用于信号处理预推理或推理后。

Innatera 的模拟/混合信号 SNN 加速器是可编程的，因此可以将不同的 SNN 及其复杂的神经元连接拓扑编程到芯片上。

“这个阵列看起来很像一个模拟FPGA：你可以把它想象成一个可编程神经元和突触的海洋，可以实现任何类型的脉冲神经网络拓扑，”Kumar说。“这些神经元和突触内的计算是使用模拟/混合信号计算元件完成的，一方面实现高分辨率，但另一方面与传统的数字加速器架构相比，它提供了前所未有的节能。”

SNN被映射到芯片上并连续运行。由于 SNN 是事件驱动的，因此如果没有相关事件发生，则不会消耗动态功率。Kumar说，与以前的原型相比，Innatera进一步优化了其计算元件的功耗、功能和可靠性。

Innatera还为传统的卷积神经网络（CNN）增加了一个小型数字加速器。Kumar 说，这是为了确保 T1 是将原始传感器数据转化为可操作见解所需的唯一芯片。

“在我们的芯片上，我们能够用脉冲神经网络做很多非常引人注目的事情，但我们也证明了将脉冲神经网络与CNN耦合的巨大价值，用于需要更高性能的应用，但仍在超低功耗范围内，”他说。“有了 [CNN] 加速器，我们可以更灵活地完成目前使用传统微控制器更难做的事情，即使是那些包含一些 AI 加速功能的微控制器。”

这使得 T1 能够分析空间数据和时间数据以及时空数据。例如，Innatera本月在CES上的演示包括T1和雷达传感器，T1着眼于连续的雷达帧，用于人员存在检测或手势识别。该演示使用了 60 GHz 消费级雷达传感器，T1 的功耗不到 1 毫瓦（手势不到半毫瓦），延迟为亚毫秒级。Innatera 还演示了音频场景分类和声音识别。

Innateral 提供了一个 SNN 模型动物园，该公司的软件堆栈 Talamo 有一个 Pytorch 前端，包括 Innatera 专门为 SNN 构建的 Pytorch 扩展。该扩展增加了基础设施来开发脉冲神经网络并对其进行训练，并且它完全内置在 Pytorch 框架中。因此，如果你知道如何使用 Pytorch，你就可以使用扩展来构建这些 SNN......这是 Pytorch 中非常典型的 ML 开发工作流程，用于训练和优化模型。Talamo 的编译器会自动将 Pytorch SNN 模型映射到 Innatera 硬件上，而无需用户知道或理解架构。