第六届网络生态治理论坛：当AI学会“自主攻击”— Agent与Mythos带来的新危机

人员

报告安排

1. 端侧智能：迈向安全可控的通用智能

   刘知远 · 清华大学

   简介

   大模型规模法则受数据、算力成本约束难持续，我们最近提出的智能密度法则揭示：模型智能水平与参数量比值持续提升，2023 年以来智能密度约每 100 天翻倍。本报告梳理架构优化、高效数据治理、模型风洞、低位宽量化、软硬协同等高密度模型制备核心技术体系，介绍MiniCPM 系列端侧基座模型工程实践，论证终端硬件算力持续升级与高密度模型双向赋能的落地路径。我们研判 AI 将从云端集中计算走向分布式端侧原生智能，剖析端侧全模态、硬件原生架构的发展趋势，指明智能密度持续迭代是普惠安全可控通用智能的核心底层驱动力。

2. 从数据维度探析智能体安全

   胡侠 · 上海人工智能实验室

   简介

   随着人工智能模型不断借助外部工具、具备自主规划与任务执行能力，智能体正加速应用于各类真实场景，在显著提升任务执行效率的同时，也带来了安全性与可控性方面的全新挑战。一旦智能体在决策或执行过程中出现偏差，可能对现实世界造成潜在风险。 本次报告将介绍代表性的智能体系统架构，分析多工具协同对智能体可控性带来的影响，并分享团队围绕安全可控智能体开展的最新研究进展。相关工作覆盖智能体运行全流程的四个关键环节，包括用户输入安全检测、模型内生安全增强、工具调用监测以及输出结果验证，系统提升智能体的安全保障能力。基于上述研究，团队进一步提出人工智能安全发展的新范式，推动智能体系统安全能力与性能协同演进。 最后，报告将结合当前智能体安全面临的关键挑战，探讨未来的发展方向与应对思路。

3. AI系统自主攻防能力评测与演进

   杨珉 · 复旦大学计算与智能创新学院

   简介

   本报告围绕AI系统自主网络攻防能力的评测、分析与演进展开。首先介绍团队在白盒漏洞验证方面的研究，系统评测智能体在代码理解、漏洞定位、PoC构造与验证等环节的能力；进一步介绍团队构建的黑盒自主攻防评测平台 AgentCyberRange，通过真实网络环境、完整攻击链任务与动态排行榜，持续刻画前沿模型和智能体的自主渗透能力。在评测基础上，介绍 CyberEvolver，从数据、模型与智能体系统等层面对能力短板进行根因分析与定向增强，探索AI攻防能力持续演进的技术路径。

4. 以小博大：从专业模型到可验证的攻防闭环

   黄龙涛 · 阿里巴巴（北京）软件服务有限公司

   简介

   大模型正推动网络攻防从单点工具走向连续决策与自主执行，面向企业级应用，效果之外还必须兼顾推理成本、时延、部署弹性与数据安全。因此，以小尺寸模型承载高频次的安全专业任务，不只是技术选择，更是实现规模化落地和持续迭代的必要条件。该报告主要介绍阿里安全自主研发的伏渊息壤大模型如何以垂域专业为核心，协同Harness、可验证环境与执行反馈，构建可训练、可评测、可复核的攻防闭环，并以27B模型在CyberGym模型赛道取得88.9%的实践说明“以小博大”的可行性。

5. 从思考到行动：智能体时代的可信AI

   董胤蓬 · 清华大学

   简介

   近年来，大语言模型的能力形态正在快速变化，从生成回复逐步走向显式推理、工具使用和自主行动。可信AI不再只关注最终输出是否安全、真实或无偏，而逐渐成为一个贯穿模型思考、决策和行动全过程的问题。围绕这一变化，本报告将沿着“回复-推理-行动-自主性”的演进，介绍我们近期在智能体时代可信 AI 方向上的一系列研究：一方面，探索如何利用推理能力改进模型对齐，并进一步识别和干预推理过程中的关键风险；另一方面，关注当模型连接工具、代码环境和高风险任务后，如何评估其上下文理解、验证其决策过程，并在更高自主性出现之前刻画和预测潜在风险。通过这一脉络，报告希望展示可信 AI 如何从输出层面的评测与对齐，逐步走向对模型行为过程的理解、干预、验证与风险预测。