- 论文公开站arXiv
ConvergeFlow：具有可证明收敛到词元嵌入的语言流模型
ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
ConvergeFlow是一种基于嵌入空间的流式语言模型，将数据预测器限制在词元嵌入的凸包内，并仅使用流匹配的均方误差目标进行训练。在适当正则条件下，证明该流能收敛到有效词元嵌入，无需交叉熵解码器即可直接预测词元。实验表明其在OpenWebText上性能与现有连续和离散扩散模型相当。
意义：该研究简化了连续语言模型的训练流程，无需交叉熵解码器，为流式语言建模提供了理论基础，可能提升生成效率与可控性。
- 论文公开站arXiv
均匀与重掩码离散扩散模型的自适应采样保证
Provably adaptive sampling with uniform and remasking discrete diffusion models
摘要显示，针对均匀前向过程的离散扩散模型，标准τ-leaping采样器的下界随维度d线性增长，但该研究提出一种基于留一法去噪器的一阶采样器，支持并行坐标更新，并能纠正采样中的去噪错误。主要结果建立了自适应采样保证：在忽略对数因子下，N = O(DTC(X0)/ε)步即可达到O(ε_score+ε)的采样误差，其中DTC为双总相关，表明采样复杂度由目标分布的内在结构而非维度决定。
意义：该研究为离散扩散模型提供了更高效的采样方法，将采样复杂度与数据内在结构关联，有望提升高维生成任务的效率，对生成式AI的推理优化有重要意义。