- 论文公开站arXiv
打破同质化陷阱:通过SplitMoE扩展视频扩散模型
Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE
受大语言模型启发的混合专家(MoE)是扩展视觉生成模型的有前景范式,但传统token级MoE在同类专家池中独立路由token并趋向均匀化,限制了性能。本文提出SplitMoE方法。
- 论文公开站arXiv
局部去噪的崩溃作为语义物种形成
Breakdown of Local Denoising as Semantic Speciation
生成模型动力学呈现两个看似不同的时间窗口:样本确定语义类别的物种形成窗口,以及局部上下文窗口不足以生成的非局域窗口。本文受二者近乎同步的证据启发展开研究。
- 论文公开站arXiv
λ控制GRPO:将流匹配比率不稳定性转化为预算资源
$λ$-Controlled GRPO: Turning Flow-Matching Ratio Instability into a Budgeted Resource
摘要显示,该研究针对流匹配模型强化学习(Flow-GRPO)中多步去噪训练不稳定的问题,指出重要性比率漂移、离散化、裁剪率差异等看似独立的失效模式实际源于单一的「路径方差」量,该量由采样器的高斯转移核精确决定并可低成本估计。作者提出 λ-Controlled GRPO,依据预测规律校准重要性比率行为,并按预测代价在去噪步间分配梯度预算,两个尺度由标准策略选择固定而非自由调参。在文本到图像模型上以 OCR 评分渲染难目标文本等两种奖励设置…
意义:为流匹配生成模型的强化学习对齐提供了可度量、可预算的稳定性机制,减少对手工调参稳定器的依赖,对图像生成模型的 RL 训练工程有直接参考价值。
- 论文公开站arXiv
PosteriorBench:从点估计到后验匹配的生成式逆求解器评估
PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers
摘要显示,现有生成式逆问题求解器评测多聚焦单次重建是否合理,难以应对病态问题中多解共存的情形。作者提出 PosteriorBench,覆盖 Darcy 流反演、Poisson 源恢复、碳捕集封存与光传输材料推断四类物理逆问题,用拒绝采样与 MCMC 构建高保真参考后验,并配套五项指标:后验均值误差、后验标准差误差、最大均值差异、切片 Wasserstein 距离与径向平均功率谱误差,以评估点精度、边缘不确定性、分布对齐与全局频率保真度,…
意义:为生成式逆问题提供分布级评测,帮助开发者识别模式坍缩与过度自信的不确定性,推动更可靠的科学生成模型评测。
- 论文公开站arXiv
PhysStream:具结构化场景记忆与细粒度运动控制的流式物理视频生成
PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
摘要显示,PhysStream 是一种自回归图像到视频生成模型,面向物理落地的动态场景合成。它引入结构化场景记忆(位置图与目标跟踪图,由已生成帧在线推导),并用稀疏速度增量信号编码物理量实现细粒度运动控制。模型分两阶段训练:先对双向模型做运动控制条件微调,再训练带场景记忆的因果自回归模型。摘要称其在桌面刚体多物体场景中支持生成中途交互控制,合成基准上 FVMD 降低 33%、轨迹误差降低 12%,人类评估中超过 85% 的对比更受偏好。
意义:为视频生成引入可在线更新的场景记忆与物理量级控制信号,使生成过程可中途干预,对交互式世界模型与可控视频生成方向有参考价值。
- 论文公开站arXiv
生成评估中FID掩盖的偏差:检测、排序与诊断
What FID Hides: Detecting, Ranking, and Diagnosing Deviations in Generative Evaluation
摘要显示,生成模型常用FID和KID评估,但FID仅基于前两阶矩,可能忽略分布差异,且标量差距未校准采样变异。在ImageNet上,仅优化匹配Inception均值和协方差的不可识别图像,其FID为24.7,而保留的真实图像为58.6。FID和KID为对称标量,无法编码离散度变化方向。为此,引入ZID,结合六个位置和离散敏感指标,输出排序指数、置换p值和符号离散读数,以检测偏差并排序严重性。
意义:为生成模型评估提供更全面的诊断工具,帮助开发者识别模型与真实数据的细微偏差,优化模型调优。
- 论文公开站arXiv
均匀与重掩码离散扩散模型的自适应采样保证
Provably adaptive sampling with uniform and remasking discrete diffusion models
摘要显示,针对均匀前向过程的离散扩散模型,标准τ-leaping采样器的下界随维度d线性增长,但该研究提出一种基于留一法去噪器的一阶采样器,支持并行坐标更新,并能纠正采样中的去噪错误。主要结果建立了自适应采样保证:在忽略对数因子下,N = O(DTC(X0)/ε)步即可达到O(ε_score+ε)的采样误差,其中DTC为双总相关,表明采样复杂度由目标分布的内在结构而非维度决定。
意义:该研究为离散扩散模型提供了更高效的采样方法,将采样复杂度与数据内在结构关联,有望提升高维生成任务的效率,对生成式AI的推理优化有重要意义。