简介
大模型的兴起为非平稳环境下的自适应机器学习带来了新的挑战与机遇。其一，大模型训练成本高昂，面对非平稳环境，无法频繁全量重训，其固化知识难以及时响应数据分布的变化。其二，大模型参数规模巨大，在非平稳数据流上进行增量学习时，极易引发“灾难性遗忘”。然而，大模型强大的表示学习能力，能从高维流数据中提取更具泛化性的不变特征。借助其突出的上下文学习能力，大模型可通过精心设计的提示或少量新样本快速适应新环境。本论坛将报告和讨论大模型给非平稳环境下的自适应机器学习提供的新路径，提出的新问题，带来的新启示。
简介为官网原文，部分内容可能未写完。
人员
主席
- 文益民 · 五邑大学
嘉宾
- 侯臣平 · 国防科技大学
- 李晶晶 · 电子科技大学
- 李培培 · 合肥工业大学
- 朱飞 · 中国科学院香港创新研究院
- 张绍群 · 南京大学
报告安排
大模型架构泛化与幻觉抑制理论
侯臣平 · 国防科技大学
简介
大模型时代的智能应用场景日益复杂，泛化能力提升与推理幻觉抑制已成为人工智能研究中的重要挑战。本报告围绕“大模型架构泛化与幻觉抑制理论”展开研究，从基础功能单元、架构组件单元以及组件单元级联方式三个层面出发，探讨不同结构设计对大模型泛化能力与推理稳定性的影响，并进一步研究如何通过新型架构设计提升大模型可信泛化与推理能力。最后，对该研究方向的发展趋势与未来挑战进行总结和展望。
大模型高效微调统一视角：理论分析与算法设计
李晶晶 · 电子科技大学
简介
随着大语言模型（LLM）参数规模的指数级增长，全量微调面临巨大的计算与存储开销，参数高效微调（PEFT）因此成为研究热点。然而，现有方法如LoRA、Adapter和Prefix-tuning往往被视为独立的启发式策略，缺乏统一的理论解释。本报告提出了一种大模型高效微调的统一视角，旨在从理论层面剖析不同PEFT算法的内在联系。为大模型的高效定制化提供了新的理论支撑与算法范式。
面向概念漂移的鲁棒数据流分类：研究进展与大模型时代的开放问题
李培培 · 合肥工业大学
简介
概念漂移是非平稳环境下自适应机器学习面临的核心挑战，广泛存在于金融风控、网络安全、推荐系统、社交网络分析等众多现实应用场景。随着数据规模的爆炸式增长和应用场景的日益复杂，数据流分类模型不仅需要处理高速到达的海量数据，还必须具备快速检测并适应概念漂移的能力，同时应对标签噪声、特征高维、监督信息不足等复合挑战。 本报告系统梳理了鲁棒数据流分类的研究进展。首先介绍了数据流分类的基本范式与概念漂移的经典检测与适应框架，包括基于单模型和集成模型的两类主流方法；其次围绕多标签数据流和短文本流两类典型应用场景，分析了高维特征、标签相关性、语义稀疏性等问题与概念漂移的相互影响；然后重点介绍了团队在含噪单标签与多标签数据流分类方向的系列研究成果，包括含噪短文本、偏标签消歧、标签缺失鲁棒学习、含噪且变化标签分布下的在线分类等代表性工作。 在此基础上，报告深入探讨了大模型时代给鲁棒数据流分类带来的新挑战与开放问题，包括大模型的高效在线适配与持续学习、大模型与传统在线学习的优势互补、大模型辅助的漂移检测与可解释性等前沿方向，旨在为非平稳环境下自适应学习的研究与应用提供参考，并对未来研究进行了展望。
持续自主进化的智能体系统
朱飞 · 中国科学院香港创新研究院
简介
本报告介绍CLAgent智能体系统及其关键机制。首先，介绍通用执行机制与领域逻辑解耦的架构，支持专业智能体的快速构建与部署；其次，从系统、记忆和应用三个层次组织持续进化，将交互中获得的知识、经验与工作方法凝练为可复用能力；进一步，介绍基于执行记录和用户反馈的自我反思机制，通过识别改进需求、组织改进任务与验证更新结果，连接任务执行与能力进化。报告结合通用任务、外部技能利用和应用进化等实验，展示持续自主进化提升智能体任务表现的效果。
面向大模型推理和交互的不确定性分析
张绍群 · 南京大学
简介
近年来，以大语言模型为代表的人工智能技术在复杂任务上取得突破性进展，但其在开放动态环境交互中的可信性仍屡受考验，典型表现包括“相同提示词的多次推理结果不同”且“自信地产生错误回答”等。本次报告将从不确定性分析的角度对该问题展开系统拆解，内容包括不确定性归因、估计、优化和决策。首先，将构建大模型推理不确定性的归因体系，并在此基础上探讨不确定性的 Scaling Law等问题。进而，提出基于有向图建模思维链的不确定性估计方法，并据此构建“推理-不确定性估计-自适应决策”的闭环路径，有效提升推理的可信度与准确率。该方法具备良好的通用性，可广泛适配多种大模型及其衍生品，如大语言模型、时间序列基础模型及 Agent 等。最后，本报告将探讨不确定性优化与决策方向的最新进展。