简介
生成式人工智能是当前计算机领域最具活力与影响力的前沿方向之一，大语言模型、扩散模型等先进生成模型持续实现关键技术突破，深刻重塑科研创新范式与产业应用形态，兼具深厚的学术研究价值与广阔的落地发展潜力，是当下极具研讨价值的前沿选题。 本次研讨会聚焦生成式人工智能前沿学术进展，围绕主流生成模型的技术演进脉络、核心科学瓶颈、跨领域融合创新、安全伦理规范等方向展开深度交流，共同探讨领域关键问题与未来发展路径。 论坛将邀请领域专家学者与青年科研骨干分享最新成果，搭建开放包容的学术交流平台，促进思想碰撞与科研协作，推动国内生成式人工智能领域高质量创新发展。
简介为官网原文，部分内容可能未写完。
人员
主席
- 李文 · 电子科技大学
嘉宾
- 沈春华 · 浙江大学
- 左旺孟 · 哈尔滨工业大学
- 郭裕兰 · 中山大学
- 赵洲 · 浙江大学 计算机学院
- 刘昭强 · 电子科技大学
报告安排
Empowering multi-modal large language models with active perception using reinforcement learning
沈春华 · 浙江大学
简介
Active vision, or active perception, denotes the process of proactively choosing where and how to perceive to collect task-relevant information, serving as a pivotal element for efficient perception and decision-making in both humans and advanced embodied agents. Recently, Multimodal Large Language Models (MLLMs) have attracted widespread attention as core planning and decision-making modules in robotic systems. Nevertheless, despite the significance of active perception in embodied intelligence, there has been minimal exploration into how to endow MLLMs with active perception capabilities or enable them to learn such abilities. In this paper, we first present a systematic definition of MLLM-based active perception tasks. We note that the zoom-in search strategy of the recently proposed GPT-o3 model can be considered a special case of active perception, yet it still faces drawbacks of low search efficiency and imprecise region selection. To tackle these issues, we propose ACTIVE-O3, a reinforcement learning-based training framework built on GRPO, specifically designed to equip MLLMs with active perception capabilities. We further establish a comprehensive benchmark suite to evaluate ACTIVE-O3, covering both general open-world tasks (e.g., small-object and dense object grounding) and domain-specific scenarios, including small object detection in remote sensing and autonomous driving, as well as fine-grained interactive segmentation. Additionally, ACTIVE-O3 exhibits strong zero-shot reasoning performance on the V* Benchmark without relying on any explicit reasoning data. We aim that our work will provide a simple codebase and evaluation protocol to promote future research on active perception in MLLMs.
高质量复杂图像生成
左旺孟 · 哈尔滨工业大学
简介
近年来，图像生成得以快速发展，出现了GPT-Image、Nano Banana、即梦、Flux、Qwen Image等一系列可用的商用和开源模型，图像生成技术已趋于成熟。报告拟在此基础上，探讨包括多人/多物体、复杂姿态和交互等的复杂图像的高质量生成问题，汇报团队在高分辨率/极端长宽比、图文交织、多物体、复杂交互生成等方面的研究进展，期待进一步拓展图像生成的技术发展和应用范围。
视角和内容可控的视频生成
郭裕兰 · 中山大学
简介
视频生成技术已广泛应用于内容创作与具身训练等方面，但现有方案面临精细内容编辑与灵活相机控制的技术瓶颈。本报告从视角和内容条件可控的视角出发，汇报团队在视频生成方向的近期进展。首先，针对文本指令难以驱动高精度视频修改的问题，提出VideoDirector方案，实现时序像素级精细化视频编辑；其次，针对多任务视频生成缺少通用镜头调控能力的问题，提出OmniCamera统一框架，实现任意轨迹相机运动控制。通过画面修改与镜头叙事双重能力的实现，为自动化视频创作提供完整可行算法框架。
跨模态内容编辑
赵洲 · 浙江大学 计算机学院
简介
跨模态内容编辑通过文本模态作为控制指令，对跨模态内容进行语义一致且结构可控的修改。本报告首先系统从声学编辑、语义编辑与实例编辑三个维度来梳理在近几年基础模型时代内容编辑技术的发展。针对近期内容编辑工作从全局修改向细粒度推理驱动的趋势，本报告首先介绍MelodyEdit通过解耦反演与和谐注意力控制，将控制精度从风格层面推进到结构层面；为了克服对象交互建模难的挑战，ThinkSound引入思维链推理，通过多模态大语言模型将视觉动态转化为结构化因果推理来指导音频编辑；在此基础上，SwanWeave将推理驱动的控制逻辑延伸至3D空间场景，以单阶段流匹配框架与空间编辑混合专家机制实现FOA音频中多事件空间关系的直接编辑。与此同时，本报告介绍UnicEdit-10M通过构建大规模推理增强编辑数据集与统一验证基准，为精细化跨模态内容编辑提供数据支撑。