简介
基础模型正在重塑自动驾驶与具身智能的技术范式。从端到端驾驶决策到物理世界交互,从VLA模型到世界模型,基础模型不仅提升了系统对复杂场景的理解与推理能力,更成为连接数字智能与物理世界的关键桥梁。自动驾驶被认为是物理AI的首个大规模落地场景,而基础模型正是驱动这一范式跃迁的核心引擎。 本论坛特邀学术界与产业界的顶尖专家,分享基础模型在自动驾驶与具身智能领域的最新研究成果与技术洞察,既集中展示领域前沿突破,也鼓励深度观点碰撞与共识提炼。我们期待通过本次论坛,为自动驾驶与具身智能的基础模型研究指明方向,推动智能系统从“看见世界”走向“理解世界”与“交互世界”。
简介为官网原文,部分内容可能未写完。
人员
主席
- 史少帅 · 滴滴自动驾驶公司
嘉宾
- 李鸿升 · 香港中文大学
- 蒋理 · 香港中文大学(深圳)
- 齐晓娟 · 香港大学
- 梁定康 · 华中科技大学
报告安排
智能涌现·自动驾驶技术创新与产业化之路
史少帅 · 滴滴自动驾驶公司
简介
本报告聚焦智能驾驶技术创新与产业化,结合滴滴自动驾驶实践,探讨L4级自动驾驶迈向规模化应用的关键路径。围绕混合决策系统、强化学习与端到端驾驶大模型,分享复杂交互和长尾场景下提升安全与体验的技术思路;展望视觉语言动作模型与世界模型的融合演进,阐述数据闭环、仿真验证和端侧推理的关键作用。同时,从车辆、算法、产品和运营协同出发,探讨如何兼顾安全、体验与成本,推动Robotaxi实现规模化服务。
迈向下一代端到端自动驾驶:高效统一的视觉-语言-动作(VLA)模型前沿探索
李鸿升 · 香港中文大学
简介
随着端到端自动驾驶的发展,视觉-语言-动作(VLA)模型展现出强大的常识推理与跨模态认知潜力,但仍面临推理延迟高、离散文本与连续控制难融合等落地瓶颈。本次讲座将聚焦VLA模型在自动驾驶架构设计上的最新突破,探讨如何通过深度的架构统一与创新机制化解上述难题。我们将分享一种全新的解决思路:通过将认知推理转移到统一的隐式空间,并构建全流式的网络架构,系统能够有效摆脱传统语言大模型自回归解码的高延迟束缚。同时,结合分层并行解码与“语言意图引导连续动作扩散”的创新机制,模型成功跨越了离散语义理解与连续车辆控制之间的鸿沟,实现了时序记忆、常识推理与轨迹规划的无缝融合。这些前沿探索不仅大幅提升了系统的运行效率与安全性,更在长尾复杂场景下的规划精度首次超越了人类驾驶员水平,全面展示了下一代自动驾驶大模型“知行合一”的发展趋势。
世界模型驱动的端到端自动驾驶
蒋理 · 香港中文大学(深圳)
简介
世界模型通过学习物理世界的演变规律,为端到端自动驾驶突破泛化与数据瓶颈提供了新路径。本报告围绕策略学习与数据生成两条路径,介绍我们的研究进展:一方面,介绍如何将视频生成先验引入驾驶策略,联合建模未来场景与驾驶动作,连接世界预测与驾驶决策;另一方面,介绍三维几何先验驱动的前馈式动态场景重建,并分享我们在长时序、可控视频世界模型方面的探索,实现几何一致的可控场景重建与多样化数据生成。通过两条路径的探索,探讨世界模型如何连接场景表征、未来生成与策略学习,推动端到端自动驾驶的发展。
面向开放三维世界的建模、生成和交互
齐晓娟 · 香港大学
简介
开放世界中的智能体需要持续感知环境、理解场景、生成内容并完成自主交互,而世界建模正是连接空间智能、生成式人工智能与具身智能的关键基础。本报告围绕“世界建模、生成和交互”这一主线,介绍团队在开放世界三维智能领域的系列研究进展,探讨如何构建兼具几何一致性、物理合理性与交互能力的数字世界。报告首先介绍面向开放场景的三维与四维世界建模方法,通过融合几何先验、神经表示和三维高斯表示,实现高保真、可扩展的动态环境重建,并结合合成数据与新型计算硬件提升建模效率。随后,围绕开放世界内容生成,介绍纹理丰富的三维资产、单图三维场景以及可动画三维对象的生成技术,并进一步将物理约束、关节结构和智能体行为纳入生成过程,使生成内容能够支持真实交互与任务执行。进一步地,报告将讨论世界模型的发展趋势,从单目生成迈向几何一致性的立体动态世界建模,通过统一时空表示与相机建模,为沉浸式显示、机器人感知和具身决策提供更加可靠的环境表征。最后,介绍自适应世界—动作模型与双循环自进化智能体框架,通过规划、执行、反思、数据整理和技能学习,实现智能体在开放世界中的持续学习、长时序推理与自主进化。本报告旨在展现从世界感知、建模与生成到智能交互的完整技术闭环,为构建能够在开放世界中持续学习、可靠决策和自主行动的新一代智能系统提供新的思路与方向。
Qwen-Drive: 自动驾驶视觉语言基础模型初探
梁定康 · 华中科技大学
简介
本报告介绍团队在自动驾驶视觉-语言基础模型的初步探索。首先梳理自动驾驶视觉语言模型的演进,分析仅依赖驾驶问答监督在三维空间建模和通用能力保持上的局限。随后介绍Qwen-Drive-1.0,在预训练VLM中将显式3D感知、场景理解与运动规划统一建模的框架。进一步结合多类评测分析模型在感知、理解与规划任务上的性能与局限,最后展望开放世界自动驾驶基础模型的发展方向。