驾驭智能体系统：Agent OS 的安全困境与信任重塑

人员

报告安排

1. 从数据维度探析智能体安全

   胡侠 · 上海人工智能实验室

   简介

   随着人工智能模型不断借助外部工具、具备自主规划与任务执行能力，智能体正加速应用于各类真实场景，在显著提升任务执行效率的同时，也带来了安全性与可控性方面的全新挑战。一旦智能体在决策或执行过程中出现偏差，可能对现实世界造成潜在风险。 本次报告将介绍代表性的智能体系统架构，分析多工具协同对智能体可控性带来的影响，并分享团队围绕安全可控智能体开展的最新研究进展。相关工作覆盖智能体运行全流程的四个关键环节，包括用户输入安全检测、模型内生安全增强、工具调用监测以及输出结果验证，系统提升智能体的安全保障能力。基于上述研究，团队进一步提出人工智能安全发展的新范式，推动智能体系统安全能力与性能协同演进。 最后，报告将结合当前智能体安全面临的关键挑战，探讨未来的发展方向与应对思路。

2. 智能体安全风险与防护

   张源 · 复旦大学

   简介

   作为一种新兴软件，智能体日益深入到生活中的各个方面。然而，频繁曝出的远程命令执行、数据库注入等高危漏洞，对智能体中用户数据的安全和隐私带来严重威胁。与传统软件不同，智能体具有开放的输入格式和灵活的行为能力，对智能体安全的分析与防护带来全新挑战。本报告将对智能体安全的现状进行概述，通过具体案例深入剖析智能体软件架构及漏洞根因，并提出针对智能体安全的防护方案。

3. 迈向可靠的大语言模型系统：模型、软件与系统视角

   王帅 · 香港科技大学

   简介

   大语言模型已经成为现代人工智能的重要基础，展现出强大的自然语言理解与生成能力。然而，大语言模型的可信性是一个多维度的问题，不仅涉及模型输出的可靠性，也涉及安全性与隐私保护。近年来的研究表明，现有大语言模型及其智能体应用系统仍可能表现出较低的可靠性或不安全行为，对其在真实场景中的应用带来诸多挑战。 随着大语言模型逐渐被集成到软件、工具调用和智能体应用中，相关问题也正在由模型层面进一步延伸至软件和系统层面。本报告将介绍我们近期围绕大语言模型与智能体系统可靠性开展的若干研究，从模型、软件和系统三个视角，讨论如何评估和提升其可靠性、安全性与隐私保护能力。最后，报告也将简要探讨构建可靠的智能体系统应用的一些未来研究方向。

4. 智能体操作系统与安全

   夏虞斌 · 上海交通大学

   简介

   随着大模型和智能体技术快速发展，人工智能正在从“回答问题”走向“执行任务”。智能体开始能够调用工具、操作应用、访问数据，并自主完成复杂任务。这一变化也给传统操作系统带来了新的挑战：操作系统不仅需要管理计算、存储和设备资源，还需要支持智能体的任务执行、资源协同以及安全可信运行。本报告将探讨面向智能体的新型操作系统架构与关键技术，尤其聚焦安全方面的作用和支撑。

5. AgentArmor – 智能体行为管控

   吴烨 · 抖音集团

   简介

   AI Agent体系架构正从单一智能应用演变为具备系统调度与生产资源管理能力的新型OS中枢。但是现有Agent OS安全设计理念大多停留在静态模型及碎片化单点护栏层面，难以应对开放、不确定性的Agent系统在执行过程中面临的意图偏离、策略违背、行为劫持等风险。为此我们提出了一种Agent OS的运行时安全切面实现——AgentArmor。AgentArmor基于对Agent运行时轨迹的深度理解，将Agent OS的安全防线从“静态边界拦截”升级为“动态行为管控”。AgentArmor 将执行轨迹抽象为“来源、数据、动作、出口”四要素安全中间表示，并通过控制流完整性、意图对齐、数据流控制与动态策略约束，在实际动作执行前进行风险判断与干预。实践表明，AgentArmor 在最大化用户意图实现同时，为Agent OS有效构建了控制可信（Trust）、执行可控（Safety）和信息安全（Security）。

6. 基于鲲鹏计算的Agent安全解决方案实践

   陈启军 · 华为计算产品线

   简介

   本报告将深入探讨基于鲲鹏计算的Agent安全解决方案实践，重点剖析如何结合鲲鹏硬件与机密计算架构（CCA），构建硬件级隔离的机密Agent运行环境，实现数据全链路加密和可信远程证明。报告将分享鲲鹏在KV Cache加密存储，安全护栏加速，Agent行为意图检测及eBPF动态权限管控等核心技术上的创新应用，并展示该方案在关键行业中的落地实践，为构建高安全，可信赖的企业智能体底座提供有效参考。