简介
近年来，联邦学习、大语言模型与持续学习技术蓬勃发展，共同推动人工智能训练范式由传统集中式架构，向隐私安全、动态自适应、多方协同的分布式体系演进。本系列Tutorial将系统性地解析联邦大模型与持续学习的关键技术，并深入探讨其前沿应用与挑战，具体涵盖内容包括：联邦大模型基础框架与参数高效微调、隐私保护协同训练与跨客户端知识聚合方法；持续学习中的灾难性遗忘、知识保持与动态更新机制；联邦持续学习在自然语言处理、计算机视觉、医疗、金融和端侧智能等场景中的实践应用，以及联邦大模型落地过程中面临的数据异构、通信效率、安全可信与持续演化等关键挑战和未来机遇。
简介为官网原文，部分内容可能未写完。
人员
嘉宾
- 杨强 · 香港理工大学
- 童咏昕 · 北京航空航天大学
- 叶茫 · 武汉大学
- 杨新 · 西南财经大学
报告安排
联邦学习与联邦大模型
杨强 · 香港理工大学
简介
随着大模型的发展，人工智能（AI） 进入了一个新时代。大模型在具体应用时的一个挑战是如何把通用大模型的知识迁移到本地化的小模型上，同时保护各方的隐私和数据安全。本报告将讨论如何在大模型的背景下使用“联邦大模型”的框架进行大模型的本地化。首先回顾AI的发展和联邦学习的概念，然后讨论如何把联邦学习、迁移学习和大模型有机地结合，使得大模型的落地应用更加顺畅和便捷。
联邦智能计算——从大数据到大模型
童咏昕 · 北京航空航天大学
简介
在互联网公域数据的支撑下，GPT、DeepSeek等大模型快速发展。然而，如何激活互联网中占比90%以上的私域大数据，构建可发挥跨域大数据价值的联邦大模型，是进一步突破大模型数据瓶颈的关键。本报告关注联邦计算的发展历程：首先，回顾数据联邦与联邦学习技术；然后，聚焦于联邦计算从大数据到大模型时代的范式转变，从大模型可采用的训练信号类型出发，介绍联邦大模型的指令微调(Instruction Tuning)、适配学习（Adapter Learning）、知识蒸馏(Knowledge Distillation)等关键技术；最后，报告将剖析联邦大模型技术在智慧医疗、工业软件等行业的应用示范，并对该领域的未来发展进行展望。
大模型联邦和持续学习
叶茫 · 武汉大学
简介
大模型应用面临“公域有算无数、私域有数无算”瓶颈，联邦大模型微调为垂域大模型应用突破“数据受限” 与“隐私合规”困局提供了一种新的学习范式。联邦大模型微调主要面临两大挑战：一是如何在保护数据隐私的前提下实现高效的知识更新和领域自适应微调，二是如何在分布式环境中保证模型的可信泛化能力，有效应对数据异构与噪声干扰等问题。本次报告首先概述联邦大模型微调背景，然后分享我们团队在联邦大模型微调的最新进展，探索领域可泛化、模态可对齐、噪声可平衡、任务可持续的自适应联邦大模型高效微调方法，最后进行未来展望。
联邦持续学习
杨新 · 西南财经大学
简介
联邦学习采用“数据不动、模型动”的模式，实现隐私保护下的空间维度协同建模；持续学习侧重模型在时间维度的知识累积、迁移和校正以及灾难性遗忘等难题。报告将剖析两类范式各自的特点优势与局限，引出“联邦持续学习”这一融合时空维度的新型群智协同机器学习范式，梳理联邦持续学习的理论框架、核心算法与前沿研究进展，介绍其在金融风控、合规审查、财务监管等行业场景的落地应用，最后谈谈该方向现存挑战和未来技术发展路径。