简介
大语言模型内生安全机理缺失，已成为其高风险场景可信落地的核心瓶颈。当前主流 AI 安全研究多聚焦输出层外部约束，难以保障底层机理可靠性；受神经元多义性难题制约，现有机理解释技术，难以支撑可追溯、可核验的机理审计。 本教程聚焦等效交互机理解释理论，突破传统方法底层局限，结合多场景详解其在安全审计、内生加固、训练优化等方向的应用，剖析模型隐性风险并梳理技术演进方向。教程将证明神经网络决策可解构为稀疏交互机理，构建形式化审计方案并实证开源模型内嵌风险机理，拆解泛化能力的双机理分布规律，验证交互机理是模型特性第一性表征，提出机理对齐训练范式以兼顾效率与机理安全。
简介为官网原文，部分内容可能未写完。
人员
嘉宾
- 张拳石 · 上海交通大学
- 邓辉琦 · 西安交通大学
- 刘东瑞 · 上海人工智能实验室
- 殷赵霞 · 华东师范大学
报告安排
机理审计与机理对齐：破局大模型自我进化效率瓶颈
张拳石 · 上海交通大学
简介
大语言模型能力持续突破，但内生机理安全缺失成为高风险场景可信落地的核心瓶颈，现有技术难以支撑可追责式机理审计。本教程围绕等效交互机理解释理论展开，核心内容包括：证明神经网络决策可解构为稀疏交互机理；构建机理形式化审计方案；拆解泛化能力双机理解析分布；实证交互机理是前沿模型第一性表征；提出机理对齐训练范式，兼顾训练效率与机理安全。教程结合落地场景剖析伦理风险，展望可信大模型发展方向。
深度模型表征的严谨解释、缺陷定位与定向修复
邓辉琦 · 西安交通大学
简介
深度神经网络在诸多智能任务中取得了显著性能，但其内部决策逻辑和表征机制仍缺乏充分的可解释性。现有解释方法往往停留于局部可视化或经验性归因，难以保证解释结果的忠实性、全面性和可验证性，也难以直接指导模型性能优化。本讲座围绕深度模型表征的严谨解释、缺陷定位与定向修复，介绍一种以特征交互为核心的神经网络解释与诊断框架。该框架从模型内部决策逻辑出发，刻画特征之间的协同决策关系，并从数学层面分析验证解释结果的严谨性。在此基础上，进一步探讨如何建立交互表征能力与模型泛化性、鲁棒性和结构建模能力之间的关联，为实现模型缺陷的根因分析与定向修复提供依据。本讲座将讨论可解释人工智能如何从经验性解释走向严谨机制分析、从静态归因走向缺陷诊断与性能优化的发展路径，并为构建可解释、可验证、可信赖的深度学习模型提供新的理论视角和方法支撑。
扼守风险：从大模型到智能体安全
刘东瑞 · 上海人工智能实验室
简介
本报告围绕大模型智能体安全与防护展开研究，梳理工具调用风险、自进化偏差、智能体欺骗、多智能体极端涌现四类核心隐患。OpenClaw 等智能体易受提示注入、意图误解干扰产生现实危害；自进化过程易滋生非预期风险，模型普遍存在主动欺骗行为；多智能体体系易爆发高危害极端事件。为此我们提出 AgentDoG 诊断防护框架，依托三维安全分类与可解释模块实现行为轨迹监控与风险溯源。当前行业尚无通用稳健防御方案，仍需共建可信安全智能体体系。
数据-模型-智能体：感知—认知—行动—进化
殷赵霞 · 华东师范大学
简介
面对人工智能可信与安全的国家战略需求，技术支撑已成为政策落地的关键。当前，AI正由单一模型向具备环境感知、工具调用、动作执行及持续进化能力的智能体系统跃迁，其安全挑战亦随之升级，从局部技术点演变为贯穿数据-模型-智能体的全栈系统性风险。本报告从数据安全、模型安全、智能体安全三个维度介绍课题组AI安全研究“感知-认知-行动-进化”全链路进展。