光学算法简化模拟人工智能训练

编辑 | 白菜叶

研究人员开发了一系列模拟和其他非常规机器学习系统，期望它们将证明比今天的计算机更节能。但是训练这些人工智能来完成它们的任务一直是一个很大的绊脚石。NTT 设备技术实验室和东京大学的研究人员现在表示，他们已经提出了一种训练算法（NTT 上个月宣布），该算法对让这些系统实现其承诺大有帮助。

他们的结果建立在光学模拟计算机上，代表了在获得研究人员长期以来从「非常规」计算机架构中寻求的潜在效率增益方面取得的进展。

现代人工智能程序使用一种名为人工神经网络的受生物学启发的架构来执行图像识别或文本生成等任务。控制计算输出的人工神经元之间的连接强度必须使用标准算法进行修改或训练。这些算法中最突出的称为反向传播，它会更新连接强度以减少网络错误，同时处理试验数据。由于对某些参数的调整取决于对其他参数的调整，因此需要计算机进行主动信息传递和路由。

正如 Spectrum 在别处解释的那样，「错误反向传播就像反向运行推理，从网络的最后一层回到第一层；weight update 然后将来自原始前向推理运行的信息与这些反向传播的错误结合起来，以一种使模型更准确的方式调整网络权重。」

以复杂性换取效率的替代计算架构通常无法执行算法所需的信息传递。因此，网络的训练参数必须从整个硬件设置及其信息处理的独立物理模拟中获得。但是创建足够质量的模拟本身就具有挑战性。

「我们发现将反向传播算法应用于我们的设备非常困难。」参与该研究的研究人员之一、NTT 设备技术实验室的 Katsuma Inoue 说，「由于多种因素，例如物理噪声和不准确的建模，数学模型与真实设备之间始终存在差距。」

实施反向传播的困难促使作者研究和实施替代训练算法。它建立在一种称为直接反馈对齐（DFA）的算法之上，该算法于 2016 年在一篇论文中首次引入。该算法减少了训练期间传递信息的需要，因此减少了物理系统需要模拟的程度。作者的新「增强 DFA」算法完全消除了对任何详细设备模拟的需要。

论文链接：https://arxiv.org/abs/2204.13991

为了研究和测试算法，他们在光学模拟计算机上实现了它。其中，神经元之间的连接表示为穿过光纤环的光强度，而不是数字表示的数字。神经网络的连接用穿过环形光纤的光束的强度表示。「这是一个绝对必要的演示。」法国公共研究机构 FEMTO-ST 研究所的 Daniel Brunner 说。Brunner 开发了与研究人员在研究中使用的类似类型的非常规光子计算机。「这种特殊算法的美妙之处在于它在硬件中实现起来并不难——这就是为什么它如此重要。」

相关报道：https://spectrum.ieee.org/analog-ai-optical-training