Token经济下的开源AI Infra机遇和挑战

人员

报告安排

1. 16:15–16:45

   大模型时代云原生InfraServices的机会

   章文嵩 · 安托盟丘

   简介

   本报告主要抛砖引玉讲述在大模型时代下云原生InfraServices的发展机会。LLM触发的智能化科技革命会持续一百年，各行各业都有智能化升级的机会。开源是AI发展的重要力量，加快AI的开发速度，构建AI的开源生态，大幅降低智能化的门槛，加速AI技术的扩散。智能化升级和AI应用会创造巨大价值。人工智能应用成功需要三个必要条件：人才、数据、算力，催生新的基础设施需求，包括数据基础设施和AI服务基础设施等，来复用人才的经验（软件）和公共的硬件基础设施。这些基础设施服务应该建设在云基础设施之上，来重用云上的计算与存储服务，并实现自动伸缩的弹性能力。会概要地讨论用云原生的架构来设计数据基础设施和AI服务基础设施等。AI开发生态还处于早期阶段，通过开源协作在智能服务开发框架、高性能算子库等领域形成事实的标准，大有可为。云原生Infra Services可以大幅降低大模型AI技术的应用门槛，它自然是多云的，通过开源可以拓展国际化市场。

2. 13:30–14:00

   从 Token 效率到 Agent 生产力：面向智能体时代的 AI Infra 开源创新

   马涛 · 阿里巴巴

   简介

   随着大模型与智能体加速落地，Token经济正在推动AI基础设施从单点性能优化走向端到端效率提升。本报告将结合阿里云在 AI Infra 领域的创新实践，围绕异构算力与开源软件栈的深度协同，从 AI 编译、KVCache 管理到性能可观测等关键环节，分享阿里云提升模型训练推理效率与资源利用率的系统性优化思路。在此基础上，进一步探讨智能体规模化应用带来的新型负载需求，介绍 Agentic OS 在高效运行、状态恢复与安全治理等方面的创新探索，推动经济性评价从单位Token成本延伸至任务完成的综合成本，并讨论开源协作如何将技术优化转化为可持续的生态能力。

3. 14:00–14:30

   llm-d：打造跨负载、跨模态、跨硬件、跨平台的分布式推理平面

   张家驹 · 红帽软件（北京）有限公司

   简介

   llm-d（2026 年 3 月进入 CNCF Sandbox，由 Red Hat、Google、IBM Research、NVIDIA、AMD 等联合发起）给出的答案是：将推理系统的核心收敛为一层独立于引擎、独立于编排、独立于硬件的分布式推理平面——以 KV-cache 感知路由、Prefill/Decode 分离、分层前缀缓存卸载和基于 Envoy ext-proc 的可扩展调度框架为基座，让 vLLM 等引擎的单点优化在成百上千个副本上依然成立。 本次演讲将以"四种异构、一个平面"为主线，结合生产级 benchmark 数据，展开 llm-d 的四条最新演进路线。

4. 14:30–15:00

   面向异构算力的推理实践：FlagOS 生态下的多芯适配与高效执行

   刘艳青 · 先进编译实验室

   简介

   在 Token 经济背景下，算力价值越来越需要通过实际有效 Token 产出体现。面对日益多样化的异构算力，开源 AI Infra 不仅要解决不同芯片如何快速接入主流推理框架的问题，还需要解决新模型、新推理能力如何持续适配，以及如何通过框架执行、分布式协同和底层算子等层面的优化，充分发挥异构硬件性能，实现更高效的 Token 生成。 本报告结合先进编译实验室参与 FlagOS 开源生态共建的实践，围绕 FlagOS 生态中的推理插件与多芯适配实践展开，重点介绍如何通过多芯基础能力和推理插件机制，连接上游主流推理框架与不同异构硬件平台，在尽量保持原有框架接口和使用方式的基础上完成多芯适配，并持续支持新模型、新量化方式以及新的推理能力。 在完成“能够运行”和“能力可用”的基础上，报告将进一步重点介绍高效执行的工程实践，包括面向异构硬件的执行路径优化、分布式执行优化、Graph 等执行机制优化，以及必要的算子级性能优化，推动多芯推理从“适配可用”进一步走向“稳定高效”。同时，结合上游框架版本和模型持续演进，探讨如何建立可持续的适配、验证与性能优化机制。

5. 15:00–15:30

   大模型高效部署与优化技术研究

   宋卓然 · 上海交通大学

   简介

   随着人工智能技术的快速发展，以大语言模型（LLM）、视觉大模型（VLM）以及多模态大模型为代表的新一代智能模型正在推动计算、访存需求持续增长。相比传统深度神经网络，大模型在参数规模、数据依赖、访存带宽以及异构计算协同等方面提出了更高要求，传统通用处理器架构面临计算效率不足、数据移动开销过高以及能效受限等问题，因此开展面向大模型的专用处理器芯片架构与系统研究已成为当前的重要方向。本报告将围绕多模态人工智能任务，介绍面向大模型的处理器芯片架构与系统研究进展，介绍面向稀疏数据处理的高效并行架构与数据流优化方法，以及基于异构计算与高带宽数据交换的加速架构设计。

6. 15:45–16:15

   从AI4S模型到科学智能

   赵学庆 · 沐曦集成电路（上海）股份有限公司

   简介

   沐曦股份以曦索X系列科学智能GPU和MXMACA软件栈为算力底座，兼容科学计算与AI框架，支持分子动力学、气象海洋、材料计算等经典科学计算，通过AI4S加速库和标准化AI4S Skill，把药物发现、材料筛选、气象预测、分子模拟等模型封装为可调用、可编排的科研任务单元。依托AI4S开源模型与开发者社区，汇聚框架、工具与协作资源，让模型和Skill持续迭代。科学智能Agent可根据科研目标自动组合Skill、调度算力资源、迭代优化计算结果形成并闭环验证，推动AI4S从单点模型走向自主科研智能。“从AI4S模型到科学智能”，通过开源开放生态体系，推进从模型到科学智能的演进升级。