- 论文公开站arXiv
逆向扩散的一阶平稳性
First-Order Stationarity of Reverse Diffusions
摘要显示，该工作为扩散模型建立与优化理论对应的一阶理论：当正向过程（加噪过程）的平稳势函数强凸时，基于SDE的过阻尼与欠阻尼Langevin逆向流以显式指数速率收缩相对Fisher散度，而基于ODE的逆向过程不具备此性质；进一步纳入离散化后，为两类采样器给出平均一阶平稳性界，即非凸优化中平均梯度范数保证的采样类比。该无凸性证明是局部的，仅保证score一致性，不保证全局模式权重。
意义：为扩散采样提供类优化收敛保证，有助于理解SDE与ODE逆向过程的差异及采样器的可验证收敛指标。
- 论文公开站arXiv
ConvergeFlow：具有可证明收敛到词元嵌入的语言流模型
ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
ConvergeFlow是一种基于嵌入空间的流式语言模型，将数据预测器限制在词元嵌入的凸包内，并仅使用流匹配的均方误差目标进行训练。在适当正则条件下，证明该流能收敛到有效词元嵌入，无需交叉熵解码器即可直接预测词元。实验表明其在OpenWebText上性能与现有连续和离散扩散模型相当。
意义：该研究简化了连续语言模型的训练流程，无需交叉熵解码器，为流式语言建模提供了理论基础，可能提升生成效率与可控性。