简介
2022年底ChatGPT发布引发全球对大模型的关注。除沿规模定律（Scaling Law）将模型不断变大，随着AI深度参与模型架构、训练框架、数据合成等自身研发环节，AI制造AI（AI4AI）正推动大模型呈现能力密度持续增强的密度定律（Densing Law）。密度定律与摩尔定律相互叠加，让强大的智能从云端走向端侧：端侧智能正从"能对话"迈向"能感知、能推理、能行动"的端侧智能体，初步具备端云协同与自我进化能力，在AI手机、AIPC、智能座舱、智能穿戴、智能家居乃至具身机器人等场景中加速落地、日益成为不可或缺的智能底座。本论坛聚焦端侧大模型的前沿技术与落地实践，共同展望端侧智能的愿景与挑战。
简介为官网原文，部分内容可能未写完。
人员
主席
- 刘知远 · 清华大学
嘉宾
- 姚远 · 清华大学
- 肖朝军 · 清华大学
- 李宇轩 · 面壁智能
- 曾国洋 · 面壁智能
- 林衍凯 · 中国人民大学
报告安排
迈向类人交互的实时全模态大模型
姚远 · 清华大学
简介
当前的多模态大模型主要局限于离线数据理解和轮次交互范式，难以满足现实世界对实时动态交互的迫切需求。因此，实时全模态大模型已成为解决这一瓶颈、迈向通用多模态人工智能的关键路径。本次报告将介绍MiniCPM-o 4.5，一个具备类人交互能力的多模态大模型，能够在实时全模态对话中同时进行看、听和说的复杂交互。该模型还能基于对实时场景的持续理解，执行主动交互，例如主动发起提醒或进行持续即时的动态描述。基于高效的结构设计和系统级优化，MiniCPM-o 4.5可以在端侧设备流畅运行。我们将探讨模型架构、运行机制和训练方法中的关键挑战与核心设计。最后，我们将展望未来的发展趋势与应用前景。
高能力密度大模型的高效构建
肖朝军 · 清华大学
简介
随着大语言模型规模的持续扩张，其高昂的计算与部署成本日益成为制约端侧智能落地的关键瓶颈。如何在有限的参数规模与算力约束下实现更高的能力密度，已成为大模型研究的重要方向。本报告以 MiniCPM 端侧大模型为例，系统阐述“高能力密度大模型”的高效制备技术体系，围绕模型架构、数据治理与学习方法三个核心问题，重点探讨计算高效的架构设计、高知识密度的数据构建以及促进智能高效涌现的训练方法，并结合相关技术方案与实践经验，展望端侧大模型高效化、普惠化发展的可行路径。
AI 制造 AI：Forge Engineering 驱动端侧大模型的芯片级训推定制
李宇轩 · 面壁智能
简介
AI能力的快速提升，正让"AI制造AI"从愿景走向现实——大模型赖以运转的软件栈，开始由AI自己来编写。这一变革对端侧尤为关键：端侧芯片种类繁多、约束各异，人工为每款芯片适配训练与推理软件栈的成本难以承受，唯有AI自主锻造，才可能实现芯片级定制。本报告介绍AI制造AI的工程范式——锻造工程（Forge Engineering），并以ForgeTrain为例展开：这是首个完全由AI编写、并反超人工实现的生产级训练框架，将以月计的框架开发缩短到以天计。报告将围绕锻造方法论、正确性保障与性能反超机制展开，展望以AI制造AI支撑每款端侧芯片训推定制、加速端侧智能进化的路径。
VoxCPM：连续自回归的语音生成模型
曾国洋 · 面壁智能
简介
语音合成是端侧智能的重要技术，是人与机器交互的桥梁和媒介。近年来，语音合成正从"读得清"迈向"说得像"，如何在多语言、跨音色场景下实现真正自然、可控且高保真的语音生成，成为通向人机自然交互的关键一环。本次报告将聚焦我们开源的 VoxCPM 系列模型，介绍一条不同于主流"离散语音 Token"的技术路线——无分词器（Tokenizer-Free）语音合成。报告将聚焦于介绍 VoxCPM 模型的技术架构、实际效果以及目前在前沿研究中存在的问题。探讨未来 VoxCPM 系列以及语音生成模型的发展方向。
面向通用智能的大模型自主智能体
林衍凯 · 中国人民大学
简介
近年来，大模型在理解与推理方面展现了革命性潜力。实现从被动“大脑”到主动“行动者”的跨越，即构建大模型自主智能体，是迈向通用智能的关键所在。这要求智能体不仅能被动回答，更能通过学习使用工具、与复杂动态环境交互，来自主完成现实世界中的复杂任务。本次报告将聚焦大模型自主智能体，深入探讨其面临的三大核心挑战：泛化性、长程）与自主性。报告将系统梳理智能体从模仿学习到探索学习的演进路径，探讨如何通过强化学习与标准化协议提升其长程规划与环境泛化能力，并展望智能体如何从“被动工具”演化为真正的“主动助手”，分享我们在该领域的最新研究成果与未来发展方向。