自回归模型如何预测湍流、分子乃至宇宙的下一秒?《AI4S 实战派》第四期复习
作为业内首个多学科、系统化的AI4S工程实战宝典“AI4S实战派”栏目立足开放生态、持续演进致力于“手把手”带你率先跑通科学大模型将复杂、多学科的AI模型转化为能跑、能用、能创新的生产力工具帮助科研人员和开发者零门槛上手加速科学新发现。前三课里我们学会了给物理世界“建档立卡”那么第四课回答的问题更加直击灵魂AI如何在看到和理解“现在”之后准确预言“下一秒”3月26日晚《AI4S实战派》的通识模块迎来第四场直播。复旦大学助理教授、上海科学智能研究院AI科学家姜若曦以层级表征与自回归模型为主线带我们横跨大语言模型、计算机视觉与科学智能三大领域拆解了自回归建模预测世界演化的底层逻辑。今天我们来一起温故知新视频回放请点击https://aistudio.ai4s.com.cn/partner/research-plaza/research-plaza-web/sais-community/course/2049415194324447232AI如何预测理解即压缩接龙即智能姜若曦在开场引用了OpenAI前首席科学家Ilya Sutskever的一个核心观点“能够准确预测下一个token意味着模型已经在某种程度上理解了其背后的结构。”在这里自回归模型Autoregressive Model好比一台“接龙机器”。在3年前与黄仁勋的深度对谈中Ilya曾分享过一个有趣的实验他们让ChatGPT 4猜悬疑小说的凶手发现其表现不逊于、甚至优于人类专业侦探迷。这个小实验证明了大模型不仅仅是记忆它学会了推断的智能。Ilya进一步指出“世界在文本中有一个投影。当AI学会了高效的压缩它就掌握了某种程度的推理与智能。”与此同时姜若曦提醒道“天下没有免费的午餐。语言是全人类智慧高度压缩后的产物而视觉和物理世界的演化数据则充满了海量的细节和不可忽视的高频信号。”想要让AI预言物理世界的下一秒必须解决两个核心命题1. Tokenization如何表达复杂数据2. Order按什么顺序去预测图1: 从语言到视觉与物理世界AI建模的核心差异在于后者缺乏天然的离散表示与顺序结构如何定义“token”与“演化路径”成为关键挑战。自回归演化史从像素扫描到金字塔跃迁自回归模型在视觉领域的演进是一个从局部建模走向全局结构建模的过程PixelCNN2016将二维图像强行展开为一维序列按光栅顺序逐像素建模。方法经典但推理效率低且容易“只见树木不见森林”。VAR2024引入“尺度自回归”在量化表征空间中进行由粗到细的层级生成实现从全局结构到局部细节的递进建模。MAR2024通过随机mask顺序与扩散模型多步降噪机制摆脱量化约束使模型能够以patch为单位进行更灵活的全局建模。姜若曦总结道视觉领域的Tokenization至今没有统一答案而这恰恰是AI驱动科学发现中寻找突破口的机遇所在。图2: 不同模态下自回归建模路径不断演进从语言的固定顺序到视觉的层级生成再到科学场景中的连续建模都是在探索更合理的表示与预测方式。AI4S破局用“未来的影子”约束“现在的预测”在科学智能领域研发人员需要面对极其复杂的Navier-Stokes方程。传统模拟器直接用当前预测下一刻一旦预测步长拉长误差会逐步累积并放大最终导致数值发散。姜若曦团队从经典数值方法中的后向欧拉法汲取灵感设计了一套多层级隐式自回归模型1. 分层“脑补”将物理场分为高、中、低三个分辨率层级。2. 隐式约束在预测精细变量时先给模型一个关于未来的粗粒度预判。这种“未来的粗粒度影子”为精细预测提供了稳定的锚点。生活化类比一下的话就是如果想预测明天的气温精细变量可以先告诉模型这个月份和季节粗粒度环境变量。粗粒度信息越易获取越能为精细预测提供稳定的“锚点”。图3: 分层隐式模拟器通过“先粗后细”的多尺度预测引入未来信息作为约束有效缓解误差累积问题实现长时间稳定演化。实验结果令人振奋长期稳定性在2万步演化中模型稳定率达到95%而传统方法几乎完全失效短期精度均方误差MSE较基线下降约50%计算效率参数量增加不足10%在单张A40上完成1000步预测仅需约45秒。图4: 在确定性建模框架下该模型在2万步的预测过程中保持了稳定的物理一致性为极端事件的长期演化提供了可靠的建模与分析支撑。左图为姜若曦团队方案右图为Baseline压缩贯穿模型灵魂姜若曦分享了团队在CVPR 2026发表的观察压缩不应仅发生在输入空间也应体现在模型内部的表示学习过程中。通过简单的“权重衰减”技巧Decay Identity Shortcut模型会自动在训练中进行动态压缩。正如毕加索所言“没有抽象艺术你必须始终从某些事物开始随后你可以去除现实的痕迹。” AI的表征同样如此只有在深刻理解的基础上实现压缩才能抓住关键。图5: 语义并非显式设计而是在压缩过程中自然浮现通过衰减残差连接模型能够逐步过滤冗余信息强化高层语义表达。实战复盘在代码中见证“涡旋”的诞生在实操环节姜若曦现场跑通了湍流预测的Pipeline。即便预测到1000步AI生成的涡旋形状依然清晰稳定没有出现任何视觉漂移。姜若曦强调在科学智能中引入物理规律无论是软约束还是硬约束始终是提升模型稳定性的关键。代码和Notebook已在Github开源https://github.com/roxie62/Hierarchical-Implicit-Neural-Emulators