- 论文公开站arXiv
弥合同构与异构异步优化之间的差距出奇困难
Bridging the Gap Between Homogeneous and Heterogeneous Asynchronous Optimization Is Surprisingly Difficult
摘要显示，该研究探讨异步并行随机梯度优化中同构（各worker数据分布相同）与异构（各worker数据分布不同）两种设定的理论差距。作者证明，在常用的一阶与二阶相似性假设下，任何随机算法都无法突破异构情形下已知的悲观最优时间复杂度；弱插值假设亦不足。最后提出强插值与局部Polyak-Lojasiewicz条件的最小组合，得到与同构最优结果相当的复杂度界，且无需数据分布相同。
意义：为异构异步分布式训练的理论极限划出边界，提示开发者不能仅靠相似性假设缩小同构与异构的差距，需关注插值与局部PL条件等更强假设。