- 论文公开站arXiv
最小范数单变量双层ReLU分类：带跳跃连接的精确解与全局最优性
Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections
摘要研究单变量两层ReLU网络二分类的最小范数插值与ℓ2正则逻辑损失最小化，给出函数空间中最优分类器的完整几何刻画，并区分隐层偏置是否计入参数范数两种情形。摘要显示，偏置不受罚时最小范数插值器为贴合每次标签切换的分段仿射函数；偏置受罚时函数空间解唯一，每个同类标签段内恰有一个折点，构成最稀疏正间隔分类器。加入自由仿射跳跃连接不改变函数空间解，但使约束问题的每个KKT点全局最优。
意义：为理解浅层ReLU网络的隐层偏置与跳跃连接如何影响优化景观和稀疏性提供精确理论刻画，对网络设计与正则化选择有参考价值。