基于ReRAM的机器学习算法

多伦多—有时问题可以变成它自己的解决方案。

对于CEA-Leti科学家而言，这意味着先前被视为“非理想”的电阻性RAM（ReRAM）器件的特性可能是克服开发基于ReRAM的边缘学习系统的障碍的答案，自然电子公司最近的出版物题为“通过马尔可夫链蒙特卡洛采样利用内在忆阻器可变性进行原位学习”。它描述了如何使用RRAM或忆阻器技术来创建智能系统，该系统在边缘独立于云进行本地学习。

托马斯·达尔加蒂

法国格勒诺布尔大学（CEA-Leti）的CEA-Leti科学家Thomas Dalgaty解释说，该团队如何能够解决ReRAM技术固有的非理想性-当前基于ReRAM的边缘方法中使用的学习算法无法与设备编程的随机性相协调，或者可变性等。在EE Times的电话采访中，他说解决方案是在制造好的芯片中实施马尔可夫链蒙特卡洛（MCMC）采样学习算法，该芯片充当贝叶斯机器学习模型，该模型积极利用忆阻器随机性。

出于研究目的，Dalgaty说，清楚定义边缘系统的含义很重要。它不仅不可能连接到具有大内存和标记数据的基本云计算资源，而且它的系统并未真正连接到大能源。他说，这很重要，因为在边缘使用ReRAM的吸引力之一是存储器的低功耗。“在边缘，您必须拥有许多未标记的数据，以便在本地了解自己的情况。”

Dalgaty说，机器学习模型通常使用基于von Neumann架构的通用硬件进行训练，该架构不太适合边缘学习，因为边缘学习系统是分布式，受能量限制和受内存限制的系统。“ ReRAM对这类系统很有趣的原因是，一旦您开始使用设备的模拟属性进行计算，就不必关心所谓的冯·诺依曼存储区中的自存储信息并将其传输到处理过程中了。中心。”

他说，尽管有很大的潜力可以减少这些边缘系统中使用的能源，但ReRAM器件对于实现标准的机器学习算法而言过于随机。忆阻器可变性意味着您不能对学习模型的参数进行特定更改，而这种可变性是需要克服的。

CEA-Leti研究人员在制造的芯片中实施了马尔可夫链蒙特卡洛（MCMC）算法，以积极利用忆阻器随机性ReRAM进行边缘学习系统的使用。（由CEA-Leti提供）

Dalgaty说，研究人员一直在撞墙，试图减轻忆阻器的可变性以利用ReRAM器件的效率，然后意识到答案是使用忆阻器可变性而不是试图与之对抗。随机变异性。在制造的芯片中实施MCMC采样学习算法可减轻随机性，而无需任何能源密集型技术。

他说，通过利用随机性而不是防止随机性，可以通过将纳秒级的电压脉冲应用于纳米级ReRAM存储设备来实现高效的原位机器学习。实际上，与该算法的标准CMOS实施相比，该方法所需的能源要少五个数量级（研究团队采用了与CMOS兼容的二氧化ha技术）。Dalgaty说，这类边缘计算系统的真实例子可以是植入式医疗系统，该系统可以根据患者的发展状况在本地更新其操作。该研究小组已经通过实验将其基于ReRAM的MCMC应用于训练多层贝叶斯神经网络，以从心电图记录中检测出心律不齐，

他说，这是一个正在研究的应用程序的例子，但是与所有这种性质的研究一样，在此方法要在现实世界中找到商业应用程序之前，还有许多工作要做，并且尚不清楚所有这些内容是什么。他们可能是。最终，希望是它可以使机器学习处于尽头，而无需当前所需的大量能量和内存。

ReRAM被认为是人工智能（AI）和机器学习应用的良好候选者，并且具有模仿人脑如何在神经元和突触级学习和处理信息的潜力。扩展神经形态架构被认为将从ReRAM设备中受益，因为它们比使用DRAM，闪存甚至是高带宽内存（HBM）的当前AI数据中心要小得多，并且能效更高。

ReRAM的制造商，例如Weebit Nano，已经通过最近的研究合作关系投入了时间和资源，其中包括与德里印度理工学院（IITD）的非易失性存储器小组合作进行的一项合作研究项目，该项目将采用Weebit的氧化硅（SiOx）ReRAM技术用于AI的计算机芯片。最近，米兰理工大学（米兰理工大学）的研究人员在与该公司的论文中进行了联合研究，该研究详细介绍了基于Weebit的SiOx ReRAM的新型AI自学演示，概述了灵感来自大脑的AI系统如何在不受监督的情况下执行以高精度结果学习任务。

Weebit的ReRAM单元由两层金属层和一层氧化硅（SiOx）层组成，这两层之间的材料可用于现有生产线中，从而使其成为AI和机器学习架构的潜在成本效益，低功耗选择（Courtesy Weebit Nano ）。

Weebit Nano已经与CEA-Leti建立了长期合作伙伴关系，以开发其ReRAM技术，但是与嵌入式ReRAM计划相比，其对神经形态应用的研究工作的优先级较低，这对推动公司收入至关重要，并且其重点是响应客户对分立的ReRAM存储器组件的需求。但是，它并不是唯一一家对AI机会感兴趣的ReRAM制造商-在2019年，一个由SCAiLE（边缘学习的可管理AI）组成的财团成立了，其中包括ReRAM制造商Crossbar来创建使用ReRAM的AI平台。

无论内存类型如何，内存都将驻留在AI和机器学习架构中成为重点关注的领域。大数据应用程序已经推动了对使内存更接近计算资源的体系结构的需求。人工智能和机器学习已经放大了这种需求，因为它们通过神经网络对庞大的数据矩阵进行多次累积操作。由于机器学习是通过处理数据来学习的，因此有很大的动力来寻找将计算和内存更紧密地结合在一起的方法，这最终将节省功耗并提高性能。

编辑：hfy