简介
随着大模型参数规模、上下文长度和计算需求持续增长，算力、存储、带宽与能耗正在成为制约人工智能进一步发展的重要因素。通过采用8bit、4bit乃至更低位宽的数据表示，低精度计算能够有效减少模型权重、激活值及中间数据的存储与搬运开销，并提升计算吞吐与能效，正在成为新一代人工智能计算的重要研究方向。 但低精度不只是减少几个bit，位宽不断降低后，模型精度、数值动态范围、量化误差、训练稳定性以及硬件执行效率之间的矛盾更加突出。如何设计更适合AI数据分布的新型低精度数据格式，如何实现训练、推理和量化算法协同，如何通过编译、算子与体系结构设计将理论上的位宽优势真正转化为端到端性能收益，仍存在大量值得深入研究的问题。 本论坛将面向低精度计算的学术前沿，围绕低精度数值表示与数据格式、低比特模型训练与推理、量化算法、软硬件协同设计、高效算子与体系结构、低精度计算系统与数据传输等方向展开交流，邀请国内相关领域专家学者分享最新研究成果，并共同探讨低精度计算未来值得关注的基础问题、关键技术与研究趋势。
简介为官网原文，部分内容可能未写完。
人员
主席
- 弋飞 · 华为技术有限公司
嘉宾
- 陆璐 · 华南理工大学
- 黄朝春 · 华为
- 尚笠 · 复旦大学
- 王培松 · 中国科学院自动化研究所
- 鲁金铭 · 南京大学
- 冷静文 · 上海交通大学
- 秦浩桐 · 北京航空航天大学
- 李思坦 · 华为技术有限公司
报告安排
低精算子开发与性能优化
陆璐 · 华南理工大学
简介
针对人工智能计算中算子性能与资源开销问题，本文开展低精度算子开发与优化研究。通过低精度数据表示、向量化计算、访存优化及算子融合等方法，提高算子执行效率。实验结果表明，优化后的算子在保证计算精度的同时，有效提升了计算性能并降低了资源消耗。
大模型数值精度：误解、原理与瓶颈
尚笠 · 复旦大学
大模型量化压缩与高效部署
王培松 · 中国科学院自动化研究所
简介
针对大模型参数规模大、部署成本高等问题，本文研究量化压缩与高效部署方法。通过低比特量化、算子优化和软硬件协同，降低模型的存储与计算开销，在保持模型精度的同时提升推理效率，为大模型在资源受限设备上的部署提供参考。
面向AI计算的低精度数据格式的软硬件协同优化
鲁金铭 · 南京大学
简介
涉及前期低精度格式设计、量化算法、 硬件单元、 HiF8 应用。
极低比特大模型推理
冷静文 · 上海交通大学
简介
随着深度学习、大模型等人工智能技术的快速发展，计算系统面临算力需求持续增长、存储访问开销较大、能耗较高以及软硬件协同不足等问题。围绕人工智能计算系统的高性能与高能效需求研究也成为了重点。
迈向极致低精度的基础模型：从数值、张量到时序
秦浩桐 · 北京航空航天大学
Hifloat格式介绍及训推实践
李思坦 · 华为技术有限公司
简介
本次分享将介绍华为提出的 HiFloat 低精度数据格式（HiF8/HiF4）的设计思路与格式特点并结合实际工程经验，分享 HiFloat 在大模型训练与推理部署中的落地实践、精度表现。