大模型的数理基础

人员

报告安排

1. 对称性，AI建模应该遵循的准则

   谢琦 · 西安交通大学

   简介

   “对称性是物理世界的核心准则，AI建模也应该遵循”，这是本报告希望阐明的核心观点。随着AI4S的深化应用,AI系统要求能够更加准确地模拟物理现象、符合物理机理、满足物理规律，在这一目标下， “描述对称性、保持对称性、生成对称性”是AI系统搭建的必须。本报告扼要介绍讲者所在团队在这一基本科学问题的探索上所取得的成果。 通过引进“保对称函数”和“数据对称性”概念，我们首先严格定义了“保对称机器学习问题”。与传统机器学习问题不同，保对称机器学习问题是一个约束在保对称函数族上求解的约束机器学习问题。求解这样的约束机器学习问题以存在“大量的符合对称性准则的数据对”为前提，换言之，以“训练数据集的对称性”为前提。我们证明，一个函数是保对称的当且仅当它是“等变的”和 “不变量传递的”，以这两个可计算性指标为正则子，我们提出求解保对称机器学习问题的“对称正则化方法”。我们建立保对称机器学习的泛化性理论，特别证明，对称正则化方法不仅能够产生保对称的AI万有逼近器,而且能够显著提升传统机器学习的泛化性，而提升程度正比于训练中所使用的变換群规模。 将所建立的保对称机器学习理论与方法用于图像处理和AI4S（算子学习）两类典型问题，获得了解决同类问题当前的最好(SOTA)结果，展示了新理论与新方法的强大威力。图像处理是已知变換(如旋转、平移)的保对称问题，对这种特别情形，我们提出对称性诱导的群升维图像Patch Embedding方法、群卷积深度网络模型（SP-CNN）、保对称的等变ViT，和对称Mamba版本，成功实现了对图像处理大模型各个模块的“对称化改造”。实验证实，经如此对称化改造后的图像处理各模块/大模型都达到了当前SOTA性能。不仅如此，对称化改造还带来近乎成倍的计算效率提升。AI4S是已知守恒律而数据集不必对称的问题，对此我们提出“对称化”方法,即通过将守恒的模拟数据集增广到对称数据集，然后通过保对称建模获得保对称估计，最终由对称估计生成保守恒律的估计。我们证明，这种AI4S对称化方法较PINN方法有不可比拟的优势。 保对称机器学习/深度学习是AI的一个新方向，有诸多理论、技术与工程问题值得研究。报告结尾提出这样的系列问题。

2. 大模型时代机器学习理论

   王立威 · 北京大学

   简介

   经典机器学习理论关于表示、优化、泛化三方面的研究在大模型时代遇到严峻挑战。由于训练中数据的单次（或少次）使用方式，传统优化与泛化问题在大模型中几乎不再存在。另一方面，由于思维链的广泛应用，大模型的表示问题也已不再限于神经网络本身。本报告将探讨大模型中机器学习的新问题新理论以及相应方法。具体来说，我将讨论思维链对于模型表示的作用与意义，长度泛化问题与解决方法，模型参数与token的统一。

3. 通过压缩视角理解大语言模型行为：知识获取，扩展定律与上下文学习

   李建 · 清华大学

   简介

   大语言模型（LLMs）在众多任务中展现出卓越能力，但其内在机制及扩展定律、幻觉现象等相关行为仍缺乏系统性理论解释。本研究从算法信息论视角重新审视压缩与预测的经典关系，从而深入解读大语言模型的行为机制。通过运用Kolmogorov结构函数并将LLM压缩理解为双部分编码过程，我们详细揭示了模型如何随参数量和数据规模增长获取并存储信息——从普遍存在的句法模式到逐渐稀疏的知识要素。受此理论视角及Heaps定律与Zipf定律启发的自然假设驱动，我们提出一个简化但具有代表性的分层数据生成框架——句法-知识模型。在贝叶斯框架下，研究表明该模型中的预测与压缩过程可自然推导出大语言模型的多样化学习行为与扩展规律。特别地，我们的理论分析为数据与模型扩展定律、训练与微调中的知识获取动态、大模型的上下文学习能力，以及LLM事实性知识幻觉现象提供了直观的理论解释。我们在大语言模型上的实验结果验证了理论预测的合理性。

4. 从代数几何视角看大模型表达能力边界

   刘勇 · 中国人民大学

   简介

   当前学界对大模型表达能力的分析多从函数构建的角度展开，本报告引入代数几何视角，重点依托热带几何理论对大模型基础架构开展机制性分析。报告针对混合专家（MoE）模型与 Transformer 架构的表达能力进行了系统性剖析，为大模型底层机制的研究提供了全新的理论视角与分析路径。

5. 风险指标之外：AI失败的信息边界

   张俊杰 · 西安交通大学

   简介

   现代 AI 系统通常依赖 confidence、margin、entropy、log-probability 等风险指标来预测失败，并决定是否拒答、重试、分流或人工介入。但这些指标预测不准时，问题并不一定只是模型没有读好；更可能是当前指标本身已经丢掉了干预所需的关键信息。 本工作提出一个动态风险状态框架：给定风险人群、失败边界和干预通道，我们刻画 AI 系统如何接近失败、如何响应干预，以及风险人群如何重新分布。理论上，我们给出一个精确分解，将风险接口的失败区分为两类：一类是信息已经存在、但需要更好的非线性读取；另一类是当前指标根本没有保留的缺失状态，必须通过额外输出指标、上下文或隐藏表示来补足。 这一框架把 AI 风险评估从“寻找更好的风险指标”推进到“审计风险接口是否充分”。视觉模型和大语言模型实验进一步表明：单一指标常常不够，但内部状态也并非总是必要；真正关键的是判断当前系统在持续变化和干预下，究竟需要多少信息才能看见即将诞生的失败模式。