基于磁性 RAM 的架构可以为在边缘物联网设备上实现神经网络铺平道路

Josiah02

毫无疑问，过去十年有两大技术领域发展速度越来越快：人工智能（AI）和物联网（IoT）。
通过出色地完成数据分析、图像识别和自然语言处理等任务，人工智能系统已成为学术界和工业界中无可否认的强大工具。
与此同时，微型化和电子技术的进步使得能够连接互联网的功能设备的尺寸大幅缩小。工程师和研究人员都预见到物联网设备将无处不在，构成高度互联世界的基础。
然而，将 AI 功能引入物联网边缘设备是一项重大挑战。人工神经网络 (ANN) 是最重要的 AI 技术之一，需要大量计算资源，而物联网边缘设备本身体积小，功率、处理速度和电路空间有限。开发能够在边缘设备上有效学习、部署和运行的 ANN 是一大难题。
对此，东京理科大学的 Takayuki Kawahara 教授和 Yuya Fujiwara 教授正在努力寻找解决这一挑战的优雅解决方案。在他们于 2024 年 10 月 8 日发表在IEEE Access上的最新研究中，他们介绍了一种用于特殊类型 ANN（称为二值化神经网络 (BNN)）的新型训练算法，以及该算法在适用于物联网设备的尖端内存计算 (CiM) 架构中的创新实现。
Kawahara 解释道：“BNN 是仅采用 -1 和 +1 的权重和激活值的 ANN，它们可以通过将最小的信息单位减少到仅仅 1 位来最大限度地减少网络所需的计算资源。”
“然而，尽管在推理过程中权重和激活值可以存储在单个位中，但在学习过程中权重和梯度是实数，并且在学习过程中执行的大多数计算也是实数计算。因此，很难在物联网边缘端为 BNN 提供学习能力。”
为了克服这一问题，研究人员开发了一种名为三元梯度 BNN (TGBNN) 的新训练算法，该算法具有三项关键创新。首先，他们在训练过程中采用三元梯度，同时保持权重和激活为二进制。其次，他们增强了直通估计器 (STE)，改进了梯度反向传播的控制，以确保高效学习。第三，他们采用了一种概率方法来更新参数，利用了 MRAM 单元的行为。
随后，研究团队在 CiM 架构中实现了这种新颖的 TGBNN 算法。CiM 是一种现代设计范例，其中计算直接在内存中执行，而不是在专用处理器中执行，以节省电路空间和功耗。为了实现这一点，他们开发了一种全新的 XNOR 逻辑门作为磁性随机存取存储器 (MRAM) 阵列的构建块。该门使用磁隧道结将信息存储在其磁化状态下。
为了改变单个 MRAM 单元的存储值，研究人员利用了两种不同的机制。第一种是自旋轨道扭矩——当电子自旋电流注入材料时产生的力。第二种是电压控制的磁各向异性，指的是操纵材料中不同磁态之间存在的能量屏障。得益于这些方法，乘积计算电路的尺寸缩小到传统单元的一半。
该团队使用 MNIST 手写数据集测试了他们提出的基于 MRAM 的 CiM 系统对 BNN 的性能，该数据集包含 ANN 必须识别的单个手写数字的图像。
“结果表明，我们的三元梯度 BNN 使用基于纠错输出码 (ECOC) 的学习实现了超过 88% 的准确率，同时与具有相同结构的常规 BNN 的准确率相当，并在训练期间实现了更快的收敛，”Kawahara 指出。“我们相信我们的设计将使边缘设备上的 BNN 更加高效，同时保留其学习和适应能力。”
这一突破可能为能够更大程度地利用人工智能的强大物联网设备铺平道路。这对许多快速发展的领域具有重大意义。例如，可穿戴健康监测设备可以变得更高效、更小、更可靠，而无需始终保持云连接才能运行。同样，智能家居将能够执行更复杂的任务并以更灵敏的方式运行。
在这些以及所有其他可能的用例中，所提出的设计还可以减少能源消耗，从而有助于实现可持续发展目标。