简介
从对话助手到智能体应用，从内容创作到科学研究，大模型已被大规模部署，成为赋能千行百业的基础能力。在这一切的背后，离不开智算系统软件在算力、存储与通信上的持续支撑。 然而，大模型的规模化部署给智算系统带来了诸多挑战。在训练侧，超大规模集群给通信、存储与容错带来的压力急剧放大。在推理侧，访存带宽与异构算力的利用效率成为新的瓶颈。与此同时，为应对这些挑战而构建的系统软件本身也日益复杂，其设计、验证与演进已难以仅靠传统方法驾驭。 本论坛围绕“大模型的规模化部署需要什么样的智算系统支撑”这一问题，邀请学术界与产业界专家展开研讨：在训练侧，探讨大模型并行训练的检查点与通信优化；在推理侧，探讨面向异构硬件的细粒度推理系统、突破内存瓶颈的推测解码与软硬协同设计，及Serverless架构下的存算协同调度；在系统复杂性层面，探讨以AI重塑系统设计与验证的“系统智能”新范式，共同推动大模型时代智算系统的持续演进。
简介为官网原文，部分内容可能未写完。
人员
主席
- 王新 · 复旦大学
嘉宾
- 周礼栋 · 微软亚洲研究院
- 李东升 · 国防科技大学
- 王晨曦 · 中国科学院计算技术研究所
- 陈游旻 · 上海交通大学
- 李萌 · 北京大学
- 沈家诚 · 昆山杜克大学
- 罗旭川 · 微软亚洲研究院
- 周扬帆 · 复旦大学
报告安排
系统智能：计算机系统的下一个前沿
周礼栋 · 微软亚洲研究院
简介
现代计算系统推动了人工智能的快速发展，而今天，人工智能也开始反过来重塑计算系统的构建方式，催生出一种我们称之为“系统智能”的新范式。系统智能并不止于自动化编程任务，而是为复杂系统的推理、设计、验证、优化与持续演进带来新的可能，同时保持系统所要求的严谨性。 本次报告将探讨系统与人工智能的协同演进，并阐述系统智能不仅会改变我们能够构建什么样的系统，也会改变我们如何理解系统这一学科。它促使我们重新审视系统研究的基本原则与方法论，将关注重点从代码层面的复杂性，进一步转向规约、设计、验证与形式化证明。通过人工智能基础设施和系统验证等实例，我将讨论这一转变如何使大规模系统更易于驾驭、更值得信赖，也更具持续演进的能力，并推动系统学科建立更加坚实的科学基础。
大模型并行训练中的系统优化技术
李东升 · 国防科技大学
简介
近年来，大模型技术快速发展，大模型能力与模型参数量呈现出正相关的特点，大模型的参数量迅速增长。大型智能模型参数量大，模型训练中产生了大量中间状态值（如优化器状态等），给大规模智能计算系统在通信、存储和容错等方面带来了很大挑战。报告将分析大模型并行训练给智能计算系统带来的挑战，并对大模型并行训练的自适应检查点存储优化、跨异构集群万卡协同并行训练优化等技术进行讨论。
细粒度异构大模型推理系统
王晨曦 · 中国科学院计算技术研究所
简介
本次报告将介绍我们构建的异构大模型推理系统，FluidGPU。不同于现有粗粒度Prefill-Decode (PD) 分离方案，我们进一步将解耦粒度下沉到 GPU kernel 这一基本调度单元，从而更精细地匹配大模型推理中不同计算阶段与异构硬件之间的性能差异。在给定硬件环境和既定并行策略下，FluidGPU 将 GPU kernel 放置建模为混合整数线性规划（MILP）问题，能够求得该配置下理论最优的吞吐调度方案。同时，FluidGPU 与现有 TP 等模型并行策略兼容，不依赖特定模型结构，可适用于 LLM、SSM、多模态模型和扩散模型等多类大模型，突破了传统 PD 分离主要面向 LLM Prefill / Decode 阶段的适用边界。实验结果表明，FluidGPU 相比 PD 分离和 AF 分离等现有方案最高实现 2.3倍吞吐提升，并将成本效率最高提升 1.6倍，为异构 GPU 集群上的大模型推理提供了一种更细粒度、更通用且更高效的系统化解耦方案。
基于Serverless架构的大模型推理存算协同调度
陈游旻 · 上海交通大学
简介
针对Serverless架构大模型推理中非规整行为导致的GPU算力阻塞问题，引入“存算协同调度”的应对思路，核心内容包括：1）利用“以存换算”与“边传边算”克服海量参数带来的冷启动延迟，实现模型快速响应；2）针对长上下文频繁切换的高I/O开销，采用“以算换传”机制，实现推理状态的极速保存与恢复；3）通过状态物化的“以存代算”机制，应对冷启动过程的Cuda Graph构建开销。
突破内存瓶颈的大模型推理优化
李萌 · 北京大学
简介
大语言模型（LLM，如ChatGPT）的快速发展为自然语言处理、多模态人工智能等领域带来了重要技术革新。然而，大语言模型的自回归解码机制与规模定律（Scaling Law）共同造成了严峻的存储容量与访存带宽瓶颈，尤其制约着新兴模型架构和智能体范式的发展。推测计算通过解耦候选生成与目标模型验证，减少解码迭代次数，为显著缓解访存带宽瓶颈提供了可行途径。本报告将重点介绍本课题组近期围绕新型人工智能架构与工作流开展的推测解码研究，并阐述如何通过算法与硬件的精细协同设计，显著缓解大语言模型推理中的存储瓶颈。