登录注册
返回分论坛目录

AI 高通量推理基础设施

简介

随着大模型迈向 Agent 时代,Token 已成为AI应用的核心价值载体。本论坛以“面向 Token 经济的新一代 AI Infra”为主题,围绕高通量推理应用场景需求,聚焦超节点 PD 分离架构、DCU 推理全栈优化、ParaCache 先进存力与国产类 IB高速网络等最新技术进展,全方位探讨如何通过计算、网络、存储的软硬协同创新,构建高吞吐、低时延、成本可控、可持续演进的 Token 工厂级 AI 基础设施,加速 AI 从回答问题向完成任务的范式跃迁。

简介为官网原文,部分内容可能未写完。

人员

主席

  • 李柳 · 曙光信息产业(北京)有限公司

嘉宾

  • 魏振国 · 曙光信息产业(北京)有限公司
  • 周震刚 · IDC 咨询(北京)有限公司
  • 刘冠川 · 曙光信息产业股份有限公司
  • 赵欢 · 曙光信息产业(北京)有限公司
  • 师天麾 · 清程极智
  • 顾茹雅 · 基流科技
  • 樊启武 · 四川省自然资源数字科技有限责任公司
  • 孙建鹏 · 曙光智算
  • 石静 · 曙光信息产业(北京)有限公司
  • 陈超 · 四川轻化工大学
  • 陶丹 · 国家超算互联网

报告安排

  1. 14:00–14:10

    开场致辞

    魏振国 · 曙光信息产业(北京)有限公司

  2. 14:10–14:30

    面向 Token 经济的新一代 Agent Infra 发展趋势

    周震刚 · IDC 咨询(北京)有限公司

  3. 14:30–14:50

    Agent 时代下的高通量推理

    刘冠川 · 曙光信息产业股份有限公司

    简介

    Agent时代推理的核心矛盾已从单卡算力转向系统级协同效率。当多智能体高频并发调用成为常态,瓶颈不再是芯片峰值算力,而是数据搬运、存储I/O、网络时延的叠加损耗。我们以“算—存—传”三级紧耦合架构破局,依托scaleX40超节点与scaleFabric原生RDMA网络,实现高吞吐、低延迟的Token流转,让每瓦电力产出更多有效Token。从“算力工厂”到“Token工厂”,衡量标准只有一个:单位成本下的Token产出效率。

  4. 14:50–15:10

    高速网络运维管理平台 FabricView

    赵欢 · 曙光信息产业(北京)有限公司

    简介

    智算网络管理已从“连通性保障”转向“Token产出效率”的全局优化。传统网络关注带宽与丢包,而AI训练推理需要微秒级时延、零拥塞与故障自愈。我们以scaleFabric原生RDMA为底座,通过IBGDA卸载CPU调度、动态拥塞感知与拓扑感知路由,将网络管理融入“算—存—传”三级紧耦合架构,支撑十万卡级集群稳定高效运行。让网络不再是黑盒,而是可观测、可调度、可加速的Token工厂神经系统。

  5. 15:10–15:30

    AI Infra 软硬协同释放国产算力效能

    师天麾 · 清程极智

  6. 15:30–15:50

    Token 驱动的大模型推理效能优化

    顾茹雅 · 基流科技

  7. 15:50–16:10

    从“中试验证”到“产业生产”,矿山大模型的实践思考

    樊启武 · 四川省自然资源数字科技有限责任公司

  8. 16:10–16:30

    依托系统层级推进 Token 高效吞吐

    孙建鹏 · 曙光智算

    简介

    DCU推理性能的释放,关键在“软硬协同”而非单卡算力。我们以DeepAI深算智能引擎为核心,实现“算子-框架-模型”全链条深度优化,目标算子性能提升30-70%,单卡推理吞吐量最高提升1倍以上。我们不追求纸面峰值,而是让每一份算力都高效转化为Token产出,推动国产DCU从“可用”走向“好用”。

  9. 16:30–16:50

    以先进存力加速Token生成

    石静 · 曙光信息产业(北京)有限公司

    简介

    Token生成效率的下限往往由存力决定。传统架构中,存储只是被动支撑,数据搬运的卡顿直接造成GPU空转,算力再强也无法转化为有效Token产出。我们率先提出“先进存力”理念,以“算—存—传”三级紧耦合架构打通数据流转堵点,让存储从效率瓶颈转变为Token生成的加速引擎。

  10. 16:50–17:10

    Agent 时代地方高校 AI 算力建设的“轻量化”思考

    陈超 · 四川轻化工大学

  11. 17:10–17:30

    超算互联网:AI4S时代的Token工厂网络

    陶丹 · 国家超算互联网

    简介

    AI4S正在改变科研对算力的需求结构——过去比拼峰值算力,如今衡量的是Token产出效率。科学发现本身正成为Token密集型任务:蛋白质折叠、万亿原子级模拟等场景,每一次迭代都在消耗海量推理Token。超算互联网的价值,在于让分散在全国的算力不再是孤岛,而是通过一体化调度转化为可流通的Token产出网络。郑州核心节点的十万卡集群若全部投入推理,可承载全国5%至10%的Token访问量。当Token像电力一样被标准化调度,AI4S才能真正从实验室走向规模化科学发现。