大模型智能体强化学习与自进化

人员

报告安排

1. RSI递归自主改进的发展与挑战

   周明 · 北京澜舟科技有限公司

   简介

   递归自主改进（RSI）是当前通用智能与智能体领域最前沿的研究方向，核心是让AI系统具备自我诊断、自我迭代、自我优化的闭环进化能力，突破传统模型依赖人工调参、人工迭代、人工优化的研发范式。近年来，随着大模型、代码智能体与循环推理架构的快速成熟，RSI从理论构想逐步走向受限场景的工程落地，在代码生成、模型微调、任务自迭代等方向展现出巨大潜力。但整体而言，RSI仍处于早期探索阶段，面临迭代稳定性差、自我进化难以收敛、评价体系不完备、复杂任务递归退化、安全对齐难度大等关键瓶颈。本次分享将系统梳理RSI技术的演进脉络、当前阶段性成果，剖析落地中的核心技术难题与未来发展路径。

2. 共进化 AI 与 不可解释的可验证的创新

   沈阳 · 清华大学

   简介

   本报告围绕自进化AI、自主算法优化与智能自我检验技术，构建人机共进化新范式，建立“不可解释过程+强可验证结果”创新理论框架。自进化AI可自主开展高维探索、算法迭代优化，创新推演链路超出人类认知边界；依托内嵌多层级自检体系，自动完成精度校验、误差修正与成果复现核验，实现黑箱进化、结果可信。报告重塑人机分工模式，人类负责目标设定与边界管控，AI承担自主探索、创新产出。团队已形成自进化智能、自动寻优、自主校验等系列原创成果。该范式推动AI从工具智能走向自生智能，为持续学习、可控进化的下一代智能系统提供创新方法论与落地路径。

3. 从强化学习到自我演化：迈向长程智能体

   林衍凯 · 中国人民大学

   简介

   长程推理是通用智能体的核心瓶颈。本报告以能力的持续获取为主线，先探讨如何用智能体强化学习提升长程推理与跨任务泛化，再剖析人类在任务、奖励与验证上的监督上限，进而介绍自我演化：让智能体自主构造任务与反馈，形成自我提升闭环，突破监督瓶颈，探索通用智能体可持续进化的路径。

4. Agentic AI 的进化配方：模型、环境与数据的反馈闭环

   林涛 · 西湖大学

   简介

   当前，大语言模型正从单一的“一次性问答系统”，演进为具备工具调用、环境干预以及基于反馈持续决策能力的“智能体（Agent）”。本报告聚焦“什么是智能体、如何训练智能体、如何实现智能体自进化”三大核心议题，系统性地梳理了一条从规模化工程实践到构建反馈闭环的研究路线。 首先，AWorld 通过分布式智能体与环境的交互大幅提升经验采集效率，为智能体强化学习构筑了高可扩展的训练基础设施；其次，Environment Tuning 结合结构化课程、可执行的环境反馈与细粒度进度奖励，使智能体能够在极少量任务中实现稳定学习；进一步地，RODS 利用多次 rollout 的平均进度奖励与奖励方差来探测模型的能力边界，并围绕这一动态边界在线合成数据，从而实现训练任务与模型能力的协同进化。 上述工作共同勾勒出了 Agentic AI 的演进范式：智能体训练不应局限于孤立的模型优化，而应立足系统全局视角，构建起“模型、训练环境与训练数据”三位一体、相互促进的反馈闭环。

5. 第一性原理视角下的智能进化：从模型基础到运行框架

   钱泓锦 · 北京智源人工智能研究院

   简介

   在大模型逐步掌握对话、推理、代码编写与工具调用之后，自主研究将成为人工智能的下一个重大突破：智能体能够像研究者一样，主动提出问题、搜集证据、形成假设、检验结论，并最终产生超越既有知识边界的新发现。本报告将从第一性原理出发，围绕复杂问题中普遍存在的“求解—验证”不对称性，探讨智能进化的基本机制与系统实现。我们提出“求解—评估双循环智能体”，通过持续求解、结果评估与反馈改进，实现解决方案的递归优化，并在深度研究、机器学习与算法工程等场景中验证其有效性。在此基础上，我们将进一步讨论支撑长期智能进化的运行框架，以及如何通过“技能蒸馏”将人类知识转化为适合智能体自主研究的技能基础，从而构建融合模型能力、循环优化与人机协同的智能进化体系。最后，报告将探讨智能进化对现实应用场景的赋能，并展示相关原型系统与评估框架。