站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
直接反馈对齐中的共模坍缩与恢复
Common-Mode Collapse and Recovery in Direct Feedback Alignment
摘要显示，直接反馈对齐（DFA）用固定随机投影回传输出误差训练隐藏层，在 tanh 隐单元与独立 sigmoid 输出下，普通 SGD 可能停滞在接近类别频率常数预测器的损失水平。作者将停滞归因于误差中的共模成分，通过精确的均值-协方差分解分离出由均值教学信号和均值突触前活动构成的秩一更新，其主成分推动 tanh 单元饱和。校准读出基线可抑制坍缩并加速学习。
意义：揭示固定随机反馈训练不稳定的共模机制，为对齐类算法与无反向传播训练的优化设计提供改进思路。