- 论文公开站arXiv
直接反馈对齐中的共模坍缩与恢复
Common-Mode Collapse and Recovery in Direct Feedback Alignment
摘要显示,直接反馈对齐(DFA)用固定随机投影回传输出误差训练隐藏层,在 tanh 隐单元与独立 sigmoid 输出下,普通 SGD 可能停滞在接近类别频率常数预测器的损失水平。作者将停滞归因于误差中的共模成分,通过精确的均值-协方差分解分离出由均值教学信号和均值突触前活动构成的秩一更新,其主成分推动 tanh 单元饱和。校准读出基线可抑制坍缩并加速学习。
意义:揭示固定随机反馈训练不稳定的共模机制,为对齐类算法与无反向传播训练的优化设计提供改进思路。
- 论文公开站arXiv
短期定价面板中的跨设计不确定性:来自模拟价格轨迹的证据
Across-Design Uncertainty in Short Pricing Panels: Evidence from Simulated Price Trajectories
摘要显示,短期观测定价面板可能包含大量观测值,但只有少数不同的价格变动。研究在稀疏定价机制下,区分了条件于已实现价格轨迹的不确定性与同一定价过程产生的替代轨迹之间的估计误差变异。基线模拟中,后者占梯度提升规范估计误差方差的97.6%。面板内重采样程序仅使用一条已实现轨迹的信息,无法识别这一跨设计成分。
意义:对开发者/AI行业的意义:强调在数据生成过程中创造独立识别变异的重要性,而非仅依赖重采样,对模型评估和不确定性量化有指导意义。