- 论文公开站arXiv
逆向扩散的一阶平稳性
First-Order Stationarity of Reverse Diffusions
摘要显示，该工作为扩散模型建立与优化理论对应的一阶理论：当正向过程（加噪过程）的平稳势函数强凸时，基于SDE的过阻尼与欠阻尼Langevin逆向流以显式指数速率收缩相对Fisher散度，而基于ODE的逆向过程不具备此性质；进一步纳入离散化后，为两类采样器给出平均一阶平稳性界，即非凸优化中平均梯度范数保证的采样类比。该无凸性证明是局部的，仅保证score一致性，不保证全局模式权重。
意义：为扩散采样提供类优化收敛保证，有助于理解SDE与ODE逆向过程的差异及采样器的可验证收敛指标。
- 论文公开站arXiv
牛顿法的原始加速方法
Primal Acceleration of Newton's Method
我们开发了一种新的直接加速牛顿法，用于最小化具有Lipschitz连续Hessian的凸函数。该算法仅使用原始变量，每次迭代只需一次线性求解。通过简单的预定参数选择，它在函数残差方面达到O(1/k^3)的全局收敛率。据我们所知，这是此类问题中第一种在每次迭代仅依赖一次线性系统求解（无需求解辅助非线性正则化子问题，如三次正则化，执行非线性参数搜索或使用对偶外梯度校正）就达到此速率的一阶方法。我们的方法可以以无Hessian方式实现，使用非…
意义：该算法在保持二阶方法快速收敛的同时，大幅降低了计算成本，为大规模凸优化提供了新选择，可能推动机器学习中相关问题的求解效率。