背景介绍
机器学习作为近几十年最具革命性的科学突破之一,已广泛应用于自然语言处理、药物发现等领域,推动了技术的快速发展。然而,随着模型复杂度的持续增长,传统数字计算在速度和能效上的局限性日益凸显,亟需更高效的计算解决方案。光学计算凭借其高并行性和低能耗特性,被认为是模拟神经网络推理的理想替代方案。然而,光学神经网络的训练仍面临重大挑战,主要原因在于反向传播算法的计算顺序与推理阶段的信息流方向相反。目前,大多数光学神经网络仍依赖计算机进行离线训练,再将训练所得参数加载到光学硬件中执行推理。这种方式不仅效率低下,还易受环境因素(如灰尘、像差等)干扰,导致“现实鸿沟”问题。
为解决这一难题,学者们曾提出了多种光学实现的反向传播方案,但这些方法普遍存在效率低、收敛慢、适用范围有限等问题。例如,一些混合训练方案(hardware-in-the-loop)无法克服离线训练的低效性,而随机扰动和直接反馈对齐等方法的收敛速度远不及标准反向传播算法。此外,现有方案往往依赖数字非线性激活和光电转换,难以推广至不同架构。
牛津大学 Alexander I. Lvovsky 教授团队取得突破性进展,首次搭建了一个完整的两层光学神经网络并实现了全光学的反向传播,成功解决了非线性激活层的光学实现难题。研究团队通过精确控制可饱和吸收元件的光强,使其在正向传播和反向传播过程中展现不同的光学特性,从而实现全光学的模型训练。实验结果表明,该方案在训练收敛速度和分类任务精度方面均优于传统方法,并具备良好的可扩展性,为光学神经网络的高效、通用计算提供了全新解决方案。相关成果以为题,发表在2025年第1期。
方法介绍
研究人员提出了一种创新的光学神经网络(Optical Neural Network, ONN),其结构如图1(a)和1(b)所示。该网络由两个完全连接的线性层组成,线性层由光学矩阵-矢量乘法(Matrix–Vector Multiplication, MVM)实现,各层神经元之间进行加权连接,并结合激活函数实现复杂的非线性学习。光学MVM的三大特性使其成为深层神经网络的理想选择。首先,它具有可重构性,允许灵活调整神经元值和网络权重;其次,多个MVM模块可级联形成多层网络;最后,MVM在正向和反向传播中均双向有效,为光学反向传播算法的实现提供了关键支持。
在该架构中,网络的输入与权重矩阵由空间光调制器(Spatial Light Modulators, SLM)加载,而隐藏层的激活函数则通过铷原子气室中的饱和吸收(Saturable Absorption, SA)机制光学实现(图 1(c))。这一设计使得系统能在前向传播时具备非线性响应,同时在反向传播过程中保持线性,从而满足模型训练需求。训练流程如图 1(d) 和 1(e) 所示。首先,权重矩阵以随机值初始化,训练数据依次通过各层进行前向传播,每层输入与权重矩阵相乘后应用激活函数,得到最终输出;随后,计算输出与真实值之间的损失,并利用梯度下降法进行反向传播,以优化网络参数,实现模型训练。
图1 光学神经网络(ONN)模型结构及训练流程图
实验结果
模型线性层的性能测试结果如图 2(a)所示,包括前向第一层(MVM-1)、前向第二层(MVM-2A)和反向第二层(MVM-2B),并通过信噪比(SNR)进行评估。实验表明,MVM 在正向和反向传播中均具有良好的线性特性。其中,MVM-1 和 MVM-2A 的最大 SNR 分别为 14.9 和 7.1,受层内噪声与信号范围缩减影响,而优化后的 MVM-2B 在正向方向上的 SNR 进一步降低至 6.7。数值模拟分析表明,MVM 的乘法噪声仅为 1.3%,对 ONN 总体性能影响可忽略不计。铷原子气室的非线性拟合能力通过图 2(b) 实验结果表明,该单元具有强非线性特性,与饱和吸收(SA)透射率的理论模型高度匹配,并确定其光学深度 α0=7.3\alpha_0 = 7.3α0=7.3,足以满足 ONN 高精度计算需求。此外,通过调节气室的温度,可进一步优化光学深度以适应不同网络结构。图 2(c) 研究了正向振幅对反向光束透射的影响。实验数据与理论预测在神经元值范围内高度吻合,同时,SA 函数的导数(橙色曲线)与实验结果在理论需求范围内一致,验证了该方法的可行性,为 ONN 训练提供了坚实的技术基础。
图2 多层光学神经网络(ONN)特征分析
研究人员在三种具有不同非线性边界的数据集(Ring、Xor、Arches)上训练光学神经网络(ONN),结果如图 3(a) 所示。其中,蓝色圆圈与橙色三角分别代表不同类别的数据点。实验表明,ONN 分类准确率显著优于传统离线训练方法,展现出处理复杂非线性任务的卓越性能。图 3(b) 进一步分析了 Ring 数据集上不同训练轮次的表现。结果显示,ONN 能够快速学习非线性边界,并在短时间内将分类准确率提升至 100%,验证了其强大的非线性拟合能力和高效性。随着训练进行,两个类别的神经元输出值逐渐向相反方向演化,实现精准分类;同时,预测误差不断下降,进一步证明了 ONN 的有效性与稳定性(图3(c))。为验证 ONN 训练的梯度下降来源于光学计算,图 3(d) 对比了光学估计梯度与数字计算梯度。尽管存在一定随机噪声,两者仍高度相关,表明 ONN 成功实现了光学梯度下降,为其高效训练和实际应用提供了坚实基础。
图3 光学神经网络(ONN)训练性能与结果
总结与展望
牛津大学和光计算初创公司Lumai的研究人员首次突破了光学神经网络训练的核心瓶颈,提出了一种“端到端”的光学反向传播方法。通过光学 MVM 实现线性层计算,并利用饱和吸收单元作为隐藏层激活单元,巧妙地结合光强控制,实现了前向传播的非线性变换与反向传播的线性计算,从而实现了全光学神经网络的训练与推理。该方案在训练收敛速度和分类精度上均优于传统方案,并具备良好的可扩展性。未来,该技术有望进一步提升光学计算在高效、低功耗智能计算领域的应用潜力,为光学神经网络的发展奠定基础。
作者团队介绍
Alexander I. Lvovsky,牛津大学物理系教授,曾担任加拿大研究主席,是美国物理学会终身会员及光学学会会士。曾获国际量子通信奖、加拿大总理嘉奖信以及德国科学基金会的艾米·诺特研究奖。在Nature communications 、Nature Physics, Nature Photonics等光学领域著名国际期刊发表论文230余篇,被引超13000余次。研究成果曾被 CBC、NBC、《连线》(Wired)、《新科学家》(New Scientist)、《麻省理工科技评论》(MIT Technology Review)、《卫报》(The Guardian)以及《每日邮报》(Daily Mail)等媒体报道。
Xianxin Guo(郭贤信)是 Lumai的联合创始人兼研究主管,这是一家总部位于牛津的初创公司,专注于光学计算产品的开发。2018年,他在香港科技大学获得物理学博士学位,随后担任牛津大学 RCE 1851研究员,并在 Keble College担任讲师,拥有十年以上的光学与量子物理研究经验。
James Spall在牛津大学物理系完成博士学位。他的研究领域包括光学神经网络和光学计算硬件,并在多个顶级科学期刊上发表论文,受邀在众多学术会议上演讲,获得多项专利,并共同创立了光学计算初创公司 Lumai。
期刊简介
(AP)创刊于2019年,是一本重点关注新兴光学领域的基础与应用研究成果、聚焦最新及快速发展的光学与光子学学科的国际OA期刊。期刊入选中国科协高起点新刊计划,2021年被SCI收录,最新影响因子20.6,在全球JCR光学期刊中位列第4(Q1区),中国科学院一区,入选中国科技期刊卓越行动计划二期。创刊以来AP发表了众多国际顶尖学者的高水平学术论文,并以采访、新闻、评论等丰富的形式,展现了光学与光子学领域的最新进展。姊妹刊(APN)接收AP的快速转投和自然来稿,致力于成为既发表基础研究类又发表工程应用类文章的综合性大刊,2024年入选中国科协高起点新刊计划。
如有光学论文写作/实验笔记经验、绘图工具介绍,或其他优质稿件,欢迎投稿至 ioptics@clp.ac.cn。
稿件一经录用,我们将提供具有竞争力的稿酬。
期待你的来稿!返回搜狐,查看更多