文章目录一、一段话总结二、思维导图三、详细总结1. 研究背景与动机2. 核心理论突破3. LoRA-Pre方法设计3.1 低秩动量压缩3.2 优化器适配4. 实验结果4.1 预训练效果C4数据集困惑度越低越好4.2 微调效果MetaMathQA平均分越高越好4.3 秩效率5. 核心贡献四、关键问题与答案问题1LoRA-Pre相比传统低秩优化方法如GaLore的核心优势是什么问题2LoRA-Pre如何解决二阶动量压缩的符号问题问题3LoRA-Pre在预训练与微调场景的适用范围与效果差异https://arxiv.org/pdf/2602.24283v1https://github.com/mrflogs/LoRA-PreTaming Momentum: Rethinking Optimizer States Through Low-Rank Approximation一、一段话总结本文提出LoRA-Pre一种面向大模型预训练与微调的低秩优化器通过证明动量EMA更新等价于在线线性回归将动量矩阵分解为低秩矩阵乘积以压缩优化器状态大幅降低内存开销该方法适配Adam与Muon优化器在60M–1B参数Llama模型预训练中取得最优困惑度微调阶段较标准LoRA在Llama3.1-8B提升3.14分、Llama-2-7B提升6.17分秩效率达基线的8–16倍。二、思维导图## **核心创新** - 理论EMA动量 ≡ 在线线性回归 - 方法低秩分解压缩动量 - 适配Adam / Muon优化器 ## **方法细节** - 一阶动量m m_B·m_A - 二阶动量v(v_B·v_A)°² - 更新规则牛顿法闭式解 - 超参耦合(1-γ₁)²β₁ ## **实验验证** - 预训练60M/130M/350M/1B Llama - 微调Llama-2-7B/3.1-8B数学任务 - 秩效率1/8~1/16秩匹配基线 ## **效果优势** - 预训练困惑度显著降低 - 微调精度大幅领先 - 内存复杂度p×q→(pq)×r - 兼容多优化器、多模型规模三、详细总结1. 研究背景与动机大语言模型预训练/微调的核心瓶颈是优化器状态内存开销Adam/Muon需存储一阶、二阶动量内存占用达模型权重3倍。现有低秩优化方法依赖周期性子空间更新易出现误差累积与优化中断预训练场景适配性差。2. 核心理论突破建立动量EMA更新与在线线性回归的数学等价性动量更新公式可转化为最小化损失min ⁡ m L ( m ; g ) 1 2 ∥ m − g ∥ F 2 \min_{m} L(m;g)\frac{1}{2}\|m-g\|_F^2minm​L(m;g)21​∥m−g∥F2​证明EMA本质是用梯度流训练线性回归器为低秩压缩提供理论基础3. LoRA-Pre方法设计3.1 低秩动量压缩一阶动量将全秩矩阵m ∈ R p × q m∈\mathbb{R}^{p×q}m∈Rp×q分解为m B ∈ R p × r m_B∈\mathbb{R}^{p×r}mB​∈Rp×r与m A ∈ R r × q m_A∈\mathbb{R}^{r×q}mA​∈Rr×qr ≪ m i n ( p , q ) r≪min(p,q)r≪min(p,q)二阶动量采用v ( v B ⋅ v A ) ∘ 2 v(v_B·v_A)^{\circ 2}v(vB​⋅vA​)∘2重参数化保证元素恒正内存复杂度从p × q p×qp×q降至( p q ) × r (pq)×r(pq)×r实现大幅节省3.2 优化器适配推出LoRA-Pre Adam与LoRA-Pre Muon两种变体基于牛顿法推导闭式更新规则无需反向传播计算高效超参耦合( 1 − γ 1 ) 2 β 1 (1-\gamma_1)^2\beta_1(1−γ1​)2β1​、( 1 − γ 2 ) 4 β 2 (1-\gamma_2)^4\beta_2(1−γ2​)4β2​无需额外调参4. 实验结果4.1 预训练效果C4数据集困惑度越低越好模型规模60M130M350M1BLoRA-Pre Adam32.5723.7816.3613.53LoRA-Pre Muon30.7623.0516.9713.92最优基线31.1924.5117.2214.314.2 微调效果MetaMathQA平均分越高越好模型LoRA-Pre提升幅度Llama3.1-8B3.14分Llama-2-7B6.17分4.3 秩效率60M模型rank16匹配GaLore rank128秩效率8倍130M模型rank16匹配GaLore rank256秩效率16倍5. 核心贡献建立EMA动量与在线线性回归的全新理论关联提出LoRA-Pre低秩优化器支持预训练微调全流程实验验证内存高效、性能领先、秩效率与兼容性优异四、关键问题与答案问题1LoRA-Pre相比传统低秩优化方法如GaLore的核心优势是什么答案核心优势是动态连续子空间更新GaLore等依赖周期性SVD子空间更新易产生误差累积LoRA-Pre每步直接更新低秩因子无延迟、无中断同时秩效率更高仅需1/8–1/16秩即可达到基线性能。问题2LoRA-Pre如何解决二阶动量压缩的符号问题答案对二阶动量采用重参数化策略将v vv表示为v ( v B ⋅ v A ) ∘ 2 v(v_B·v_A)^{\circ 2}v(vB​⋅vA​)∘2哈达玛积平方确保所有元素为正满足Adam优化器中v \sqrt{v}v​的计算要求同时保留低秩结构。问题3LoRA-Pre在预训练与微调场景的适用范围与效果差异答案预训练适配60M–1B参数Llama模型在C4数据集上困惑度全面超越Adam、Muon、GaLore等基线大模型优势更明显微调适配Llama-2-7B、Llama3.1-8B数学任务精度显著优于LoRA、DoRA、GaLore同秩下效果领先。