近日,中国科学院半导体研究所集成光电子学国家重点实验室微波光电子课题组李明研究员-祝宁华院士团队研制出一款超高集成度光学卷积处理器。相关研究成果以Compact optical convolution processing unit based on multimode interference为题,发表在《自然-通讯》(Nature Communications,DOI:10.1038/s41467-023-38786-x)上。 卷积神经网络是一种受生物视觉神经系统启发而发展起来的人工神经网络。它由多层卷积层、池化层和全连接层组成。作为卷积神经网络的核心组成部分,卷积层通过对输入数据进行局部感知和权值共享,提取出不同层次和抽象程度的特征。 在一个完整的卷积神经网络中,卷积运算的运算量通常占整个网络运算量的80%以上。虽然卷积神经网络在图像识别等领域取得了成功,但也面临挑战。 传统的卷积神经网络主要基于冯诺依曼架构的电学硬件实现,存储单元和处理单元是分立的,导致数据交换速度和能耗之间的固有矛盾。随着数据量和网络复杂度的增加,电子计算方案越来越难以满足海量数据实时处理对高速、低能耗的计算硬件的需求。 光计算是一种利用光波作为载体进行信息处理的技术,具有大带宽、低延时、低功耗等优点,提供了一种“传输即计算,结构即功能”的计算架构,有望避免冯诺依曼计算范式中存在的数据潮汐传输问题。光计算近年来备受关注,但在大部分已报道的光计算方案中,光学元件的数量随着计算矩阵的规模呈二次增长趋势,这使得光计算芯片规模扩展面临挑战。 李明-祝宁华团队提出的光学卷积处理单元通过两个4×4多模干涉耦合器和四个移相器构造了三个2×2相关的实值卷积核。该团队创新性地将波分复用技术结合光的多模干涉,以波长表征Kernel元素,输入到输出的映射实现了卷积中的乘法运算过程,波分复用和光电转换实现了卷积中的加法运算,通过调节四个热调移相器实现了相关卷积核重构。 该团队提出的光学卷积处理单元实验验证了手写数字图像特征提取和分类能力。结果表明,图像特征提取精度达到5 bit 对来自MNIST手写数字数据库的手写数字进行十分类,准确率达92.17%。与其他光计算方案相比,该方案具有如下优点: (1)高算力密度:将光波分复用技术与光多模干涉技术相结合,采用4个调控单元实现3个2×2实值Kernel并行运算,算力密度达到12.74-T MACs/s/mm2。(2)线性扩展性:调控单元数量随着矩阵规模线性增长,具有很强的大规模集成的潜力。
近日,科学家在《自然》发表题为《Parallel convolutional processing using an integrated photonic tensor core》的文章,介绍了基于集成光子张量核的并行卷积处理。据介绍,随着超高速移动网络和互联网连接设备的激增,以及人工智能(AI)的兴起,世界上需要以快速高效的方式处理的数据量呈指数级增长。因此,高度并行化、快速和可扩展的硬件正变得越来越重要。科学家们演示了一个针对特定计算的集成光子硬件加速器(张量核),它能够以每秒数万亿次乘法累加运算(每秒1012次MAC运算)的速度运行。张量核可以看作是专用集成电路(ASIC)的光学模拟。它利用相变材料存储阵列和基于光子芯片的光频梳(孤子微梳)实现了光子在存储器中的并行计算。计算简化为测量可重构和非谐振无源元件的光传输,并且可以在超过14ghz的带宽下工作,仅受调制器和光电探测器的速度限制。考虑到微波线速率孤子微调制器、超低损耗氮化硅波导、高速片上探测器和调制器的混合集成的最新进展,这种方法为光子张量核的全互补金属氧化物半导体(CMOS)晶圆级集成提供了一条途径。虽然本工作只是针对于卷积处理,但更普遍的是,实验结果表明,集成光子学在数据密集型人工智能应用(如自动驾驶、实时视频处理和下一代云计算服务)中具有并行、快速和高效计算硬件的潜力。