简介
扩展现实是3D数字世界、物理世界与人类世界三界融合的集中体现，世界模型则为其注入可推理、可预测的因果引擎。两者构成双向互促的进化闭环：XR交互数据可为世界模型提供稀缺训练燃料，物理反馈成为检验模型预测的终极考场，毫秒级实时需求倒逼模型从离线走向轻量化；同时，世界模型的因果推理与时空预测能力，持续提升扩展现实的沉浸感、交互性与构想力。 本论坛汇聚三维感知、扩展现实、世界模型、物理仿真与具身智能等相关领域学者，主要聚焦以下议题：1）融合感知——虚拟信息与物理感知输入如何融合，形成对三维空间的完整理解与重建？世界模型如何利用时空预测与因果推理能力，在感知层面对遮挡、缺失信息进行补全与纠偏，增强扩展现实的沉浸感？人的具身认知与机器感知如何互补，并为世界模型提供更丰富的训练信号？其中面临哪些感知层面的挑战？2）虚实交互——虚拟内容与物理世界如何建立一致的3D物理交互规则？世界模型如何预判人的交互行为，提升三维交互的自然性与高效性？XR中的三维交互数据如何使世界模型更准确地理解人类意图、适应人类交互行为模式？其中面临哪些交互层面的挑战？3）协同进化——虚拟推演与物理反馈如何形成持续迭代的优化闭环？如何通过世界模型的情景生成与物理仿真验证，使用户得以构想假设情景并实时观察其演化，驱动扩展现实的体验进化与构想力提升？又如何将物理执行中的偏差与成功经验反馈给世界模型，通过真实场景的检验不断强化其预测与推理能力？其中面临哪些构想力层面的挑战？ 论坛旨在探讨扩展现实与世界模型的深度融合与协同发展，通过双向闭环驱动扩展现实的体验进化与世界模型的持续增强。
简介为官网原文，部分内容可能未写完。
人员
主席
- 杨旭波 · 上海交通大学
嘉宾
- 徐凯 · 中国科学院工业人工智能研究所
- 高阳 · 北京航空航天大学
- 章国锋 · 浙江大学
- 戴玉超 · 西北工业大学电子信息学院
- 赵航 · 中国科学院工业人工智能研究所
- 杨禹雪 · 中国科学院自动化研究所
- 汪淼 · 北京航空航天大学
报告安排
物理AI驱动的数字世界构建——从物理仿真到沉浸交互
杨旭波 · 上海交通大学
简介
可交互数字世界不仅要“看起来像”，还要“动起来对”——这要求数字世界具备对物理规律的编码能力。物理仿真方法精度高但泛化不足，数据驱动方法善于学习却常违背物理常识。两者的融合是当前的一条可行路径：以物理仿真提供物理约束，以数据学习补偿建模偏差。由此构建的物理一致性世界模型，为可交互数字世界提供符合物理规律的支撑。可微物理使仿真引擎能从交互数据中学习并保持物理约束；物理先验嵌入生成过程保障动态演化符合物理常识；感知驱动的资源分配则在真实性与实时性之间寻求平衡。物理仿真正在从被动仿真器演化为与数据、生成、感知深度融合的物理智能系统，为人机协同建立从理解到行动的认知闭环，为沉浸式XR交互提供可实时响应的物理智能基础。
机理-数据融合的世界模型及工业应用
徐凯 · 中国科学院工业人工智能研究所
简介
世界模型是物理智能的核心引擎。尽管生成式人工智能为世界模型的构建提供了新的范式，但仅依赖像素级生成的世界基础模型通常需要海量算力与大规模数据支持，限制了其在资源受限工业环境中的落地。针对这一挑战，我们提出融合机理表征与物理约束的世界模型，从而在降低数据与算力依赖的同时，实现对真实世界的深层理解与精准推演。旨在为具身智能体提供更可靠的环境认知与决策能力，并加速其在工业场景中的训练与应用。报告将汇报我们在机理与数据融合的世界模型方面的探索，以及在典型工业场景中的实际应用案例与前景展望。
三维重建与生成和3D世界模型
章国锋 · 浙江大学
简介
近年来，随着大模型的快速发展，三维重建与生成技术都取得了显著进展，而且两者技术的结合既可以提升重建的鲁棒性和完整度也能提升生成的质量和时空一致性，已经成为一个重要的发展趋势。本次报告主要介绍我们团队近年来在三维场景重建与生成以及3D世界模型方面的研究工作，并展示相关的应用。例如，根据输入的一张图像，可以生成一个静态的3D场景并在其中实时漫游，甚至能够走进一个单目视频，实时地在动态场景中自由视角漫游。
4D动态世界模型构建
戴玉超 · 西北工业大学电子信息学院
简介
具身智能致力于实现能够像人类一样，在物理世界中具有自主感知、理解、推理并执行复杂任务能力的通用智能体，构建具备时空预测能力的“世界模型”是其核心底座。本报告汇报课题组在动态场景重建与理解方面的系列工作，探讨如何从海量视觉数据中构建4D动态具身世界模型，并展望其在深空探测、空天协同等高动态与极端环境下应用与发展趋势。
机理-数据融合的世界模型及工业应用
赵航 · 中国科学院工业人工智能研究所
简介
当前，具身智能发展面临数据依赖与泛化不足两方面的困局。具身大模型依赖监督学习，只能建模“观察-动作”的关联关系，缺乏物理因果认知。围绕“物理AI = 生成式AI + 物理实体 + 物理机理”的研究思路，我们将世界模型作为物理AI的核心引擎与决策中枢。本报告介绍团队研发的PAIWorld世界模型，通过嵌入3D几何先验，有效解决了长时推演中的时空一致性问题。在此基础上，进一步提出面向智能制造的“快慢双层级”世界模型决策架构：快系统依托物理机理建模支撑实时工艺控制，慢系统则融入因果关系建模实现动态智能排产。最后，展望了工厂级世界模型可持续自我演进的发展前景。
世界模型：从几何表观到物理内涵
杨禹雪 · 中国科学院自动化研究所
简介
本报告首先对主流世界模型进行了梳理，从数据维度的角度分析了当前世界模型领域的发展现状，重点探讨团队在现阶段在偏重于几何表观刻画的4D世界模型方向的成果及其在具身智能领域的应用。从几何表观的世界模型出发，报告进一步深入探讨了世界模型中的物理内涵，分享了团队近期在物理世界基座模型方面的最新成果。最后介绍课题组围绕视频世界模型的全方位评测所进行的最新工作，充分揭示了现有视频世界模型的性能特性，对下一代通用世界模型进行了展望。