Cell子刊：杨扬/韩华团队开发听觉皮层亚细胞结构三维电镜重构算法

　　生命科学

　　Life science

　　2022年8月2日，上海科技大学生命科学与技术学院杨扬团队与中国科学院自动化研究所韩华团队合作，在Cell Press细胞出版社期刊Cell Reports上以长文形式发表了题为“Fear memory-associated synaptic and mitochondrial changes revealed by deep learning-based processing of electron microscopy data”的研究论文，该研究通过对恐惧学习小鼠听觉皮层突触的三维电镜重建和大规模比较分析，探究了小鼠听觉皮层中与恐惧记忆相关的神经元突触等亚细胞结构的变化情况，并用模型分析方法揭示了突触连接模式变化引起的信息存储容量的大幅提升。

　　中国科学院自动化研究所刘静助理研究员、上海科技大学生命科学与技术学院漆俊倩博士、中国科学院自动化研究所陈曦研究员和李贞辰博士生为本文的共同第一作者，杨扬研究员、韩华研究员、谢启伟教授为本文的共同通讯作者。

　　大脑中的神经网络由神经元通过复杂的突触连接构成，神经元编码、处理和存储信息从根本上依赖于突触的连接模式以及在此基础之上的协调活动，解析突触的连接模式对理解大脑的结构与功能至关重要。在哺乳类动物大脑中，除了由单个轴突小结（axonal bouton）与单个树突棘（dendritic spine）形成的1-1型连接，即单位点突触连接外，大脑中的突触连接模式还包括由单个轴突小结与多个树突棘形成的1-N型连接，或多个轴突小结与单个树突棘的N-1型连接，统称为多位点突触（multiple-contact synapses，MCS）。此前，已有很多研究通过光学显微镜发现学习记忆可以改变突触的组织结构，由于突触间隙宽度仅有几十纳米（低于一般光学显微镜的衍射极限），因此在光学显微镜下观察突触结构的精细变化非常困难。与此同时，突触三维结构的光学数据获取和分析高度依赖于人工，更是极大限制了突触结构的重建数量和分析规模。

　　为探究学习记忆如何促进突触多位点连接模式的形成及效果，本项研究以经典的听觉条件恐惧学习（auditory fear conditioning）为范式设置了实验组和对照组，基于大规模序列电子显微镜成像技术和深度学习识别模型，实现了电镜图像中多种亚细胞三维结构的自动提取，重构了小鼠听觉皮层135,000个线粒体和160,000个突触。实验组和对照组的大规模对比分析表明，尽管恐惧学习训练没有改变突触的空间密度与空间分布，却特异性地增加了1-N型突触的比例。进一步分析发现，绝大多数1-N型突触中的树突棘来自不同树突主干，并且这种多树突1-N型突触在神经元网络中能够起到信号广播的作用。

　　为了进一步分析多树突1-N型突触的信息编码能力，本项研究建立了基于香农信息熵来计算突触信息存储容量（information storage capacity，ISC）的组合数学模型。在无新增突触的静态网络和包含新增突触的可塑性动态网络两种条件下，分别计算了引入多树突1-N型突触的ISC增量。在静态网络中，引入此类突触只是略微增加了ISC容量，而在动态可塑性网络中，此类突触将信息存储容量显著提高了50%。

　　综上，基于序列电子显微镜成像技术和深度学习计算方法，研究者开发了小鼠听觉皮层亚细胞结构的三维电镜重构算法，自动重建精度可以满足大规模分析的精度需求，有效地节省了人工校验时间消耗，极大提高了分析效率。大规模电镜重构和对比分析结果在亚细胞水平揭示了学习记忆对大脑皮层突触、线粒体的组织结构和连接模式的影响，为类脑计算仿生模型的精确建模提供了结构基础和启发依据。

　　图：（上左）听觉条件恐惧学习的对照组和实验组。（上右）轴突小结与树突棘替换或增加的示意图。（中左）不同突触连接模式的电镜图像及三维重构结果。1-N型突触由单个轴突小结与多个树突棘形成，N-1型突触由多个轴突小结与单个树突棘形成。（中右）不同突触连接模式示意图。绿色：树突；蓝色：轴突。（下左）密集重构揭示绝大多数1-N型突触中的树突棘来自不同树突主干。（下右）无新增突触的静态网络和包含新增突触的可塑性动态网络。

　　该研究获得了国家科技创新2030重大项目、中国科学院战略性先导科技专项、国家自然科学基金、北京市科技计划的经费支持。

　　作者专访

　　Cell Press细胞出版社公众号特别邀请杨扬研究员、刘静博士和韩华研究员代表研究团队接受了专访，请他们为大家进一步详细解读。

　　CellPress：

　　过去也有基于电镜图像重构来探究突触和线粒体的研究报道，有的还完成了更大规模的密集重构。本文的方法和思路与过去的研究有何不同？

　　杨扬研究员：

　　电镜图像的密集重构对运算量的要求很高，工作量极大。而本文所使用的方法可以在不做密集重构的前提下，选择性识别和分割出研究者感兴趣的亚细胞结构，如本文关注的突触、线粒体，也可以推广到其他有特殊结构的细胞器。已有的突触或线粒体的自动重构算法多是像素或体素分割模型，也就是将图像中的像素或体素分类成前景或者背景。本文所使用的region-based卷积神经网络是一种实例分割网络，可端到端的完成目标实例的检测和分割。另外，针对强各向异性的序列电镜数据，本文提出一种2D到3D的重构方法，首先在2D上识别和分割亚细胞结构，随后应用3D连接算法完成3D的重构。这种方式可有效避免直接应用3D卷积神经网络带来的目标尺度在特征空间和图像空间不一致的问题。

　　CellPress：

　　多位点突触是一个新的概念吗？本文对此类突触的研究有何特别之处？

　　杨扬研究员：

　　一个突触前轴突小结与多个突触后树突棘形成的1-N多位点突触，和多个突触前轴突小结与一个突触后树突棘形成的N-1多位点突触，在过去的文献中都有过报道。但限于电镜图像人工识别的效率，过去的工作未能对这种特殊突触进行大规模的定量研究。本文通过基于机器学习的自动识别与重构算法实现了这一突破。此外，连接同一个多位点突触中的多个树突棘是来自同一根树突还是不同树突，代表了两种不同的神经元连接方式：前者仍是1对1的神经元连接，后者则是1个神经元对多个神经元的信息广播。本文通过密集重构，首次对这两类多位点突触进行了区分和定量，并发现后者在大脑皮层中，特别是学习之后占据了绝大多数，提示这种连接可能表征了大脑中突触层面的记忆痕迹。

　　CellPress：

　　人工智能算法在这个研究中发挥着怎样的作用？

　　刘静博士、韩华研究员：

　　近年来，人工智能算法已经深入应用到生命科学领域，加速甚至革新了生物学的研究进程。在连接组（Connectomics）领域，面对海量的高分辨电镜数据，借助人工智能算法绘制神经元的线路图是一个必不可少的环节。在本文中，我们设计了一套深度学习算法工具集，可以自动识别序列电镜图像中神经元、突触以及线粒体并恢复其三维形态。深度学习算法的应用大大提高了识别效率，将人从大量冗余复杂的标注工作中解放出来，加速了研究进程。

　　CellPress：

　　可否用简要的语言解释文中所提及的突触连接静态网络和动态网络，两者最核心的区别是什么？具有何种生物学意义？

　　刘静博士、韩华研究员：

　　突触连接网络是指根据神经元的几何拓扑特征来模拟突触连接模式的一种建模方式。其中，静态模型中仅考虑稳定的突触连接，假设没有新突触的形成或旧突触的消亡，本文使用信息熵定义静态网络的信息存储容量。而动态模型则将突触可塑性引入到网络中，允许新突触的形成，本文使用信息熵的增益表示新突触形成带来的信息存储容量的增加。动态模型通过模拟突触可塑性，与真实的大脑神经网络更为相似。

　　CellPress：

　　您认为该项研究对类脑计算有什么启发吗？

　　刘静博士、韩华研究员：

　　类脑智能（Brain-inspired Intelligence）本身就是通过模仿和借鉴人类神经系统的工作原理以构建新型的计算结构和智能形态。然而，目前人对大脑的生理机制还知之甚少。类脑研究的第一步就是要理解大脑，突触作为神经元连接的桥梁，是大脑中最重要的结构之一。突触的可塑性（synaptic plasticity）被认为与长时程记忆（long-term memory）有关。本文通过恐惧学习实验范式和电镜成像技术，发现了恐惧记忆能促进小鼠听觉皮层中一种特殊的1-N突触连接模式的形成，且这种连接模式大大增强了局部环路的信息编码能力。本研究中发现的这种局部神经环路信息传递模式或许能够作为一种记忆存储模块启发新型的类脑计算模型。

　　作者介绍

　　谢启伟 

　　教授

　　谢启伟，北京工业大学现代制造业基地教授

　　研究兴趣、领域：数据挖掘、图像处理和复杂系统智能；应用图像处理、机器学习和深度学习等方法研究基于电镜数据的神经元重建，集中于神经元电镜图像的前处理、超体素分割、图融合后处理等方法的研究，为神经科学提供有力工具，期待从脑的结构中挖掘出智能的本源。

　　韩华 

　　研究员

　　韩华，中国科学院自动化所研究员

　　研究兴趣、领域：高通量显微成像技术产生海量影像数据，如何重构数据、分析数据、可视数据等已成为脑科学与类脑研究领域的重大挑战。我们致力于建立我国微观脑图谱的高通量技术体系和自主可控技术平台，持续突破大体块神经组织样品制备、长时程超薄切片连续收集、高通量扫描电镜三维成像、高精度神经结构三维重建等关键技术，开展多个百TB规模的微观脑图谱绘制工程，为构建类脑计算仿真提供生物真实网络和仿生建模依据。

　　杨扬 

　　研究员

　　杨扬，上海科技大学生命科学与技术学院助理教授、研究员

　　研究兴趣、领域：以条件恐惧学习和增强式学习为行为范式，使用在体双光子成像、双光子全息光遗传、电镜、电生理等技术，研究与学习记忆相关的神经环路活动性和可塑性，及神经调制系统在其中所起的作用。

　　相关论文信息

　　▌论文标题：

　　Fear memory-associated synaptic and mitochondrial changes revealed by deep learning-based processing of electron microscopy data