简介
大模型与人工智能系统正深度渗透自动驾驶、金融交易、医疗诊断等高敏业务链路，其数据驱动的自主决策范式将安全重心从传统边界防护推向人工智能自身安全。在此背景下，密码学与可信计算从辅助加固手段，升格为构建人工智能安全的核心支柱。本论坛旨在汇聚人工智能安全与密码学社区，围绕威胁模型、关键技术路线、工程落地与标准化展开交流，推动形成可复用的安全架构与可评估的安全基线，加速人工智能在高敏场景中的可信部署。
简介为官网原文，部分内容可能未写完。
人员
主席
- 王小云 · 清华大学
嘉宾
- 陈恺 · 中国科学院信息工程研究所
- 王伟 · 西安交通大学
- 李洪伟 · 电子科技大学
- 孟国柱 · 中国科学院信息工程研究所
- 张勇东 · 中国科学技术大学
- 段海新 · 清华大学
- 胡侠 · 上海人工智能实验室
- 杜天宇 · 浙江大学
- 尤启迪 · 北京卫星信息工程研究所
- 王安宇 · 清华大学
报告安排
生成式人工智能模型安全
张勇东 · 中国科学技术大学
简介
模型安全已从外部内容过滤转向内部知识表征、价值认知与行为决策的系统治理。本报告将风险划分为确定性风险与情境性风险，构建“知识重塑—认知构建”协同的内生安全框架。面向确定性风险，通过概念擦除干预模型表征与生成分布，解决批量擦除、对抗鲁棒性及安全边界控制问题；面向情境性风险，通过以安全推理、意图归因和动态调控为核心的价值对齐技术，提升模型对复杂语境的风险认知、价值判断与规范响应能力。
以数据为中心的智能体安全
胡侠 · 上海人工智能实验室
简介
大模型在长文本场景中的应用仍面临两大挑战：一是上下文长度受预训练限制，二是推理阶段的内存需求随上下文长度增长，增加了模型部署难度。本报告介绍大模型长上下文处理与规模化部署的最新进展：在算法层面，通过对远距离词元的位置信息进行粗粒度处理，将上下文长度扩展至少8倍；在系统层面，通过将历史词元的中间状态量化至2比特，在不降低模型性能的前提下，实现8倍内存效率提升和3.5倍实际运行加速。
人工智能安全：对抗学习的范式演进
杜天宇 · 浙江大学
简介
近年来，以大模型和智能体为代表的AI技术迅猛发展，促使安全研究从算法层面的对抗鲁棒性向全链路交互的系统级攻防范式演进。伴随模型能力提升，提示词泄露、插件投毒等新型威胁日益凸显。本报告将围绕对抗学习范式演进，梳理从静态模型攻击到动态系统劫持的转变，并提出从被动响应走向主动评测的全生命周期治理路径。
人工智能赋能弹性太空网信安全展望
尤启迪 · 北京卫星信息工程研究所
简介
当前低轨卫星、算力星座快速发展，太空网络面临链路多变、易受攻击等安全问题。传统安全手段多为静态防护，很难保障任务持续运行。本文围绕人工智能赋能弹性太空网信安全展开研究，介绍AI如何实现威胁识别、网络抗毁、攻防对抗和故障自愈，同时指出星上算力有限、实战样本少、AI模型可信度不足等现实难题，并从技术、体系、工程、标准层面给出发展建议，为建设更抗打击、可自主恢复的太空网络安全体系提供思路。
伪随机纠错码的密码分析
王安宇 · 清华大学
简介
本报告对 LDPC-PRC 在具体参数下的安全性进行了系统分析，提出了三种攻击：基于 MITM 的部分密钥恢复攻击可利用公钥以多项式复杂度恢复秘密校验矩阵的行从而打破不可检测性；针对密钥生成算法中生日碰撞缺陷的弱密钥区分攻击能够以常数统计优势区分水印与非水印内容；以及基于 ISD 的噪声叠加攻击，通过恢复编码噪声后叠加对抗性扰动使解码器失效从而突破鲁棒性。