简介
当前,大模型安全正处于能力发展与安全治理并行的关键阶段。一方面,大模型自身的安全问题,如幻觉、越狱、对齐偏差等,尚未得到根本解决,仍是必须坚守的底线。另一方面,大模型正从内容生成向驱动行动演进,支撑智能体进行自主规划、工具调用与任务执行,安全边界随之从模型内部扩展至规划、执行、交互等多个环节。由此带来新的挑战:安全边界趋于模糊,防护重点不再局限于模型输出;内生安全与外围防线如何协同,尚缺乏成熟方案;传统内容审核手段难以有效约束智能体行为。实践中,防御成本高、风险识别难、跨环节防护薄弱,既有防御思路难以适应发展需求。如何从被动应对、单点防护转向主动预防、全链路保障,已成为亟待探讨的重要议题。 本次观点论坛将围绕大模型安全边界、内生安全与外围护栏协同、从内容安全到行为安全等问题展开研讨,推动学术与产业深度融合,研判下一代人工智能安全防御体系的发展方向,明确核心能力、总体架构与实施路径,形成兼顾现实可行性与未来适应性的建设路线图。 思辨点一:大模型安全与智能体安全是什么关系?二者的安全边界、风险特征与防护重点有何不同? 思辨点二:如何构建大模型安全生态?内生安全与外围护栏,孰轻孰重? 思辨点三:从“管内容”到“管行为”:大模型安全条件下如何实现可落地的智能体安全?
简介为官网原文,部分内容可能未写完。
人员
主席
- 吴涛 · 重庆邮电大学
- 冉靖 · 绿盟科技集团股份有限公司
嘉宾
- 张清华 · 重庆邮电大学
- 赵翔 · 国防科技大学
- 贺剑 · 重庆长安汽车股份有限公司
- 李华雄 · 南京大学
- 牛伟纳 · 电子科技大学
- 向国勇 · 绿盟科技集团股份有限公司