- 资讯公开站rss_arxiv_cs_ai
喝杯咖啡：面向离散扩散的编译目标未来感知引导
Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives
离散扩散模型通过并行迭代解析多个 token 来生成序列，为从左到右的生成方式提供了一种灵活替代方案。然而，用序列级目标引导这一过程十分困难，因为某个未解析 token 的价值取决于它能与之组成高奖励序列的其他 token。枚举所有此类补全会使整个引导计算量随未解析位置数量呈指数增长。我们提出 COFFEE，一个即插即用框架，通过将序列依赖与目标分离来避免这种枚举。在每个扩散步骤中，一个无目标载体吸收去噪器预测的边缘 token 分布，…
- 资讯公开站rss_arxiv_cs_ai
蛋白质扩散模型测试时对齐的谱反馈方法
Spectral Feedback for Test-Time Alignment of Protein Diffusion Models
arXiv:2609.30456v1 公告类型：新 摘要：针对离散扩散模型的奖励最大化对齐方法主要聚焦于引导反向过程，或通过影响 token logits，或在中间步骤选择有利序列。这些方法在很大程度上将推理视为单向过程，缺乏重新审视不理想 token 选择的机制。我们提出谱反馈（Spectral Feedback），一种在反馈循环中选择编辑位置的算法，使模型能够迭代修正自身生成结果。该方法利用离散扩散模型的掩码结构，通过重新掩码和重新…
- 论文公开站arXiv
ConvergeFlow：具有可证明收敛到词元嵌入的语言流模型
ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
ConvergeFlow是一种基于嵌入空间的流式语言模型，将数据预测器限制在词元嵌入的凸包内，并仅使用流匹配的均方误差目标进行训练。在适当正则条件下，证明该流能收敛到有效词元嵌入，无需交叉熵解码器即可直接预测词元。实验表明其在OpenWebText上性能与现有连续和离散扩散模型相当。
意义：该研究简化了连续语言模型的训练流程，无需交叉熵解码器，为流式语言建模提供了理论基础，可能提升生成效率与可控性。
- 论文公开站arXiv
均匀与重掩码离散扩散模型的自适应采样保证
Provably adaptive sampling with uniform and remasking discrete diffusion models
摘要显示，针对均匀前向过程的离散扩散模型，标准τ-leaping采样器的下界随维度d线性增长，但该研究提出一种基于留一法去噪器的一阶采样器，支持并行坐标更新，并能纠正采样中的去噪错误。主要结果建立了自适应采样保证：在忽略对数因子下，N = O(DTC(X0)/ε)步即可达到O(ε_score+ε)的采样误差，其中DTC为双总相关，表明采样复杂度由目标分布的内在结构而非维度决定。
意义：该研究为离散扩散模型提供了更高效的采样方法，将采样复杂度与数据内在结构关联，有望提升高维生成任务的效率，对生成式AI的推理优化有重要意义。
