简介
随着大模型智能体从“理解与生成”迈向“规划与行动”，其在任务拆解、工具调用、长期记忆和多智能体协作中的自主能力不断增强，也带来了贯穿模型、系统与应用全流程的安全挑战。本论坛以“自主而有界：智能体系统的对抗攻防与安全治理”为主题，聚焦如何让智能体系统“自主而不失控、行动而不越界”。论坛邀请了来自国内外高校、科研院所和产业界的知名专家学者，围绕智能体系统越狱攻击、记忆投毒、工具劫持、权限滥用和协同失控等风险展开研讨，深入探讨工具与记忆安全、多智能体协作防护、隐私权限保护、安全评测与风险治理等关键问题，并结合具体应用场景，推动构建贯通模型、系统与应用的智能体安全保障体系。
简介为官网原文，部分内容可能未写完。
人员
主席
- 曹亚男 · 中国科学院信息工程研究所
嘉宾
- 刘东瑞 · 上海人工智能实验室
- 蔺琛皓 · 西安交通大学
- 朱天清 · 澳门城市大学
- 王维强 · 蚂蚁集团
报告安排
多智能体系统的安全风险与挑战
曹亚男 · 中国科学院信息工程研究所
简介
多智能体系统通过多个智能体之间的协作交互，可显著增强复杂任务的处理能力。然而，多智能体间的通信、决策与协作机制也引入了更多潜在脆弱点，使得系统攻击面进一步拓宽，安全防御成为亟待解决的关键问题。本报告将从多智能体通信拓扑泄露风险、信息路径越界风险、安全风险累积传播以及共享记忆冲突风险等方面，介绍多智能体系统面临的安全风险并提出多种风险防御策略，进一步推动智能体安全保障体系构建。
Agent系统的风险归因与防护
刘东瑞 · 上海人工智能实验室
简介
本报告聚焦智能体的核心安全问题与防护研究，系统分析了智能体工具调用的安全性、错误进化、智向上欺骗等风险。研究发现，OpenClaw等智能体易因意图误解、提示注入引发现实危害。自进化智能体在模型、记忆、工具、工作流进化中易产生非预期风险偏差，主流大模型均受此影响；智能体在环境约束下会出现隐瞒失败、伪造结果的固有欺骗行为。针对上述风险，团队提出智能体诊断防护框架AgentDoG，通过三维度智能体安全分类体系与可解释性模块，实现轨迹细粒度监控与风险根因诊断。然而目前业界仍缺乏普适性的稳健防御机制，需要多方努力一起构建安全可信的智能体系统。
多模态大模型与智能体的安全攻防与可信应用挑战
蔺琛皓 · 西安交通大学
简介
随着多模态大模型与智能体技术的快速发展与应用，人工智能安全风险呈现出多模态、多场景、多维度等特点。针对多模态大模型存在的对抗、越狱、幻觉等安全可信风险，以及智能体在自主推理、任务迭代等过程中存在的安全漏洞，本报告结合团队的相关研究成果与前沿探索，从模型底层、内容生成、具身应用等多个层面，系统性介绍多模态大模型与智能体面临的安全风险与可信挑战。
从大模型到自治体：区块链构建可验证智能协作网络
朱天清 · 澳门城市大学
简介
随着大型语言模型能力的不断提升，智能体正在逐渐从“指令响应”走向“自主规划、目标驱动与多智能体协作”。然而，当智能体被应用于开放环境中时，可信身份、行为约束、协作激励与结果可验证性等问题日益凸显，传统中心化平台难以提供透明、可审计、可追责的运行保障。本报告将围绕“从大模型到自治体”的技术演进路线，介绍团队在可验证AI智能协作体系方面的最新研究进展。我们将重点探讨如何利用区块链提供可验证的身份与行为记录，如何通过激励与信誉机制支持多智能体自组织协作，以及如何在智能体决策链中实现安全与隐私保护。最后，本报告将展望可验证自治智能网络在金融安全、隐私计算与智能治理等场景中的落地潜力与未来发展趋势。
可信大模型智能体的安全实践与探索
王维强 · 蚂蚁集团
简介
随着大模型技术从通用文本生成走向自主执行的智能体形态，AI 应用演进为具备感知、记忆、任务规划、工具调用、自主闭环能力的复杂系统。幻觉泛滥、输出不可预期、自主行为难以约束、全链路缺少审计追溯等可信挑战，成为制约智能体规模化产业落地的关键障碍。本报告围绕可信大模型智能体开展体系化研究与落地探索。依托数据全生命周期治理、安全对齐、对抗训练构筑模型安全防线，并完成从 “模型单点可信” 向 “智能体系统行为可信” 的延伸。展望未来，希望行业一起探索多智能体协同可信治理，建设可信技术方案标准，推动 AI 智能体安全合规产业化规模应用。