- 论文公开站arXiv
最小范数单变量双层ReLU分类：带跳跃连接的精确解与全局最优性
Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections
摘要研究单变量两层ReLU网络二分类的最小范数插值与ℓ2正则逻辑损失最小化，给出函数空间中最优分类器的完整几何刻画，并区分隐层偏置是否计入参数范数两种情形。摘要显示，偏置不受罚时最小范数插值器为贴合每次标签切换的分段仿射函数；偏置受罚时函数空间解唯一，每个同类标签段内恰有一个折点，构成最稀疏正间隔分类器。加入自由仿射跳跃连接不改变函数空间解，但使约束问题的每个KKT点全局最优。
意义：为理解浅层ReLU网络的隐层偏置与跳跃连接如何影响优化景观和稀疏性提供精确理论刻画，对网络设计与正则化选择有参考价值。
- 论文公开站arXiv
LLM偏好对齐的零阶范式
A Zeroth-Order Paradigm for LLM Preference Alignment
摘要显示，该论文提出并分析了一种基于比较预言机的零阶对齐方法 ComPO，用于从偏好对中提取方向信息，而不直接优化可微的偏好损失，以缓解似然位移问题。作者给出了离线基础方案在平滑性、梯度稀疏性与预言机-潜在目标兼容性假设下的收敛保证，并引入在线 ComPO，利用无标注策略生成做相对参考策略的反向 KL 控制，在局部覆盖与分布内成对奖励准确率下给出性能保证。在 Mistral、Llama、Gemma-2、Qwen3、Gemma-3 上的实…
意义：为 LLM 偏好对齐提供不依赖可微偏好损失的零阶替代路径，并给出理论保证，可能缓解似然位移并影响对齐算法设计。