高效神经网络方法

人员

报告安排

1. 高效脉冲化Transformer架构及计算方法

   田永鸿 · 北京大学

   简介

   Transformer已成为当前大模型领域的重要基础架构，但其计算、存储与能耗开销随着模型规模增长而持续上升。脉冲神经网络借鉴大脑神经元的脉冲通信与时序信息处理机制，具有事件驱动和低功耗计算等特点，为构建高效Transformer提供了新的技术路径。本报告围绕高效脉冲化Transformer的神经元、深层注意力架构以及训练与推理三个方面展开，旨在兼顾新一代神经网络模型的性能与计算能效。在脉冲神经元建模方面，围绕神经元形态、阈值特性与时间编码机制进行建模，提升脉冲神经元对复杂时序信息和多尺度特征的表达能力；在深层注意力架构方面，面向网络深层化与大规模扩展需求，构建适配脉冲稀疏特性的注意力机制与网络结构，利用时空稀疏性减少冗余信息交互，提升深层脉冲Transformer的训练稳定性与可扩展性；在高效训练与推理方面，通过内存优化降低训练过程中中间状态存储与反向传播开销，并在推理阶段压缩时间步、构建逐时间步计算方式减少推理延迟，提升跨层并行计算能力。

2. 面向长序列建模的高效注意力机制

   黄高 · 清华大学

   简介

   Transformer架构支撑了自然语言处理、计算机视觉、具身智能等研究领域的快速发展。然而，长文本处理、高清图像与视频的理解与生成等任务带来的长序列建模需求，对Transformer架构提出了巨大挑战。一方面，Transformer中自注意力机制的计算复杂度随输入序列长度呈平方增长，造成训练和推理效率低、显存开销大等问题。另一方面，长序列数据中关键信息的提取犹如“大海捞针”，现有的注意力机制容易受到大量噪声信息的干扰，难以准确定位和提取关键信息。本报告将介绍如何利用线性复杂度注意力机制提升长序列建模的计算效率，以及如何利用差分注意力抑制噪声干扰、增强关键信息提取能力。

3. 从能量的视角看Transformer

   刘勇 · 中国人民大学

   简介

   Transformer 是当前大模型的核心架构，在自然语言处理、计算机视觉等领域展现出卓越性能，但其内在机理的理解仍较为有限。本报告从统计物理能量视角构建新框架，发现自注意力机制本质是最小化 Helmholtz 自由能的过程，由此为其提供了物理层面的原理解释。在此基础上，进一步从能量视角设计了新型 Transformer 架构，且实验验证了该架构的有效性。本研究为 Transformer 机理解读提供新视角，亦为其新架构设计提供新思路。

4. 动态突触时空信息处理机制与优势

   于强 · 天津大学

   简介

   大脑中神经元以脉冲的形式通过突触进行信息传递和处理。对突触和神经元的计算模拟是人工智能理论与技术发展的重要启发源泉。生物突触同时表现出长时和短时可塑性：长时突触可塑性被认为是学习和记忆的关键，也是主流研究关注点；短时突触可塑性在大脑中广泛存在，对其在信息处理影响方面的研究也由来已久。然而，长时和短时突触可塑性的交互如何影响神经网络的学习和信息处理能力，一直是一个未解之谜，有待深入探究。本报告将针对以上难题详细介绍团队近期构建的突触计算与学习理论模型，以此揭示出神经网络信息处理底层新机制，对理解大脑以及开发新一代人工智能方法提供支撑。

5. 以视觉为中心的去中心化多模态神经计算架构：神经社群表达、通讯与协作

   王树徽 · 中国科学院计算技术研究所

   简介

   深度学习已取得巨大成功，然其以规模化为核心目标的技术体系存在过度中心化、计算复杂、能耗巨大等问题，并非模拟人脑机制的最优方式。本报告从神经元连接建模角度出发，阐述了如何从哈密顿动力学视角将神经元系统（如经典深度神经网络）解耦和去中心化，建立了神经元状态空间理论，将不同粒度的神经单元间的权重连接用路径积分进行代替。从通讯角度，探讨神经元、组块、模型智能体等不同层级的智能协作计算的可行性，重点介绍视觉/多模态预训练的近期进展，并提出从去中心化AI到自组织AI的发展目标。

6. 类脑大模型及其应用

   李国齐 · 中国科学院自动化研究所

   简介

   本报告致力于思考如何基于脑启发设计新一代大模型的基础模型和计算架构，找到一条可持续推动当前AI系统到下一个阶段的通用人工智能道路：借鉴大脑信息处理机制，聚焦树突脉冲神经网络，结合报告人的科研进展，阐述构建新一代通用类脑脉冲大模型基础架构的主要科学问题，探索一条基于新架构构建低功耗人工智能的新路径，实现脑科学与人工智能双向赋能及其在机器人等典型场景的应用。