- 论文公开站arXiv
嵌入模型以奇特方式度量
Embedding Models Measure in Peculiar Ways
摘要显示，该研究考察嵌入空间是否反映质量、距离、时间和体积等物理测量，而这些量本应具有唯一客观的语义等价与距离关系。结果发现，嵌入空间对物理测量的建模仅较弱，且呈现出相当奇特的度量模式；进一步分析表明，物理测量的嵌入表示受表层字符串相似性强烈影响，重新校准相似度也未显著改善对齐效果。
意义：提示嵌入模型的语义相似度可能被表层字符串特征主导，对需要数值与物理量推理的应用构成风险。
- 论文公开站arXiv
ConvergeFlow：具有可证明收敛到词元嵌入的语言流模型
ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
ConvergeFlow是一种基于嵌入空间的流式语言模型，将数据预测器限制在词元嵌入的凸包内，并仅使用流匹配的均方误差目标进行训练。在适当正则条件下，证明该流能收敛到有效词元嵌入，无需交叉熵解码器即可直接预测词元。实验表明其在OpenWebText上性能与现有连续和离散扩散模型相当。
意义：该研究简化了连续语言模型的训练流程，无需交叉熵解码器，为流式语言建模提供了理论基础，可能提升生成效率与可控性。