- 论文公开站arXiv
EquivSVA:跨等价 RTL 实现的行为断言形式化验证数据集
EquivSVA: A Formally Verified Dataset of Behavioral Assertions Across Equivalent RTL Implementations
摘要显示,EquivSVA 是一个围绕行为族组织的形式化验证数据集,每个族包含同一外部可观察行为的四个结构不同 RTL 实现、共享接口级金标准属性、三个受控变异体及形式验证证据。数据集涵盖 12 个类别、120 个行为族、480 个参考 RTL 实现、914 个金标准属性和 360 个变异体,每个族均通过固定 17 项验证套件,并提供了族安全的训练、开发与测试划分。
意义:为 LLM 生成 SystemVerilog 断言提供行为级评测基准,可检验断言是否捕捉外部可观察行为而非实现细节,推动形式化验证与代码生成研究。
- 论文公开站arXiv
DreamStream:面向端到端驾驶的策略导向生成式仿真
DreamStream: Towards Policy-Oriented Generative Simulation for End-to-End Driving
摘要显示,现有仿真平台存在仿真到真实的视觉差距,会破坏策略感知,难以评估端到端驾驶策略的闭环决策。作者提出 DreamStream,一种基于仿真器接地的自回归视频模型构建的生成式闭环仿真器,通过交通布局引导从大型预训练视频模型蒸馏,在改变视觉外观的同时保留场景布局与动态物体时序一致性等策略相关特征。作者还指出 FID 等感知指标会误判特征保留程度,并提出多表示指标 FDπ。摘要称,在 FDπ 下 DreamStream 相比最强先前闭环…
意义:为端到端自动驾驶提供更贴近策略感知的闭环仿真与评测指标,有望降低真实路测成本并暴露策略失效场景。
- 论文公开站arXiv
DolphinBench:绘制智能体记忆的帕累托前沿
DolphinBench: Mapping the Pareto Frontier of Agent Memory
摘要显示,现有记忆基准多采用对话问答形式,问题本身已暗示需检索的事实,且仅以准确率评分,允许系统以不合理成本与时间换取高分。DolphinBench 改为通过智能体任务完成度直接评估记忆,包含三种知识工作角色,每角色约 50 万 token 用户消息,每个角色 200 项任务均经有/无相关历史对照验证,并要求同时报告总成本与延迟。
意义:为智能体记忆系统提供兼顾准确率、成本与延迟的评测基准,有助于避免以不合理开销刷分的记忆方案。
- 论文公开站arXiv
GameHorizon套件:游戏中的多时间跨度数据与评估
GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay
摘要显示,现有游戏数据集与基准存在覆盖游戏少、缺少语言指令、依赖高方差在线回合等问题。为此作者提出 GameHorizon 统一数据与评测套件,包含可扩展的多时间尺度指令标注流水线 GameHorizon-Annotator、首个大规模 AAA 游戏数据集 GameHorizon-Data(21 款游戏、5000 小时、100 名人类专家玩家录制,含时间对齐视频、玩家操作与多时间尺度指令),以及支持可复现离线与分步在线测试的 GameH…
意义:为游戏智能体提供可复现的多时间尺度评测与大规模对齐数据,有助于定位长程规划与动作控制的失败环节。
- 论文公开站arXiv
组合任务持续学习的世界模型基准测试
Benchmarking World Models for Continual Learning on Compositional Tasks
摘要显示,该研究提出一个面向机器人操作中世界模型的组合式持续学习基准,通过将任务课程设计为已见任务的组合,并从动作与感知两个维度进行分解,以隔离知识复用与学习新任务两种能力。研究在经典持续学习方法下评估了当前最优世界模型,并对比了一个动态骨干含显式可复用模块的模块化世界模型。结果显示,模块化在复用与遗忘之间取得更好平衡,但均未完全解决问题。
意义:为世界模型的持续学习提供可复用的组合式评测基准,并指出模块化设计在缓解灾难性遗忘上的潜力与局限。
- 论文公开站arXiv
PosteriorBench:从点估计到后验匹配的生成式逆求解器评估
PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers
摘要显示,现有生成式逆问题求解器评测多聚焦单次重建是否合理,难以应对病态问题中多解共存的情形。作者提出 PosteriorBench,覆盖 Darcy 流反演、Poisson 源恢复、碳捕集封存与光传输材料推断四类物理逆问题,用拒绝采样与 MCMC 构建高保真参考后验,并配套五项指标:后验均值误差、后验标准差误差、最大均值差异、切片 Wasserstein 距离与径向平均功率谱误差,以评估点精度、边缘不确定性、分布对齐与全局频率保真度,…
意义:为生成式逆问题提供分布级评测,帮助开发者识别模式坍缩与过度自信的不确定性,推动更可靠的科学生成模型评测。
- 论文公开站arXiv
Paint-Anything:图像生成与编辑的统一任意颜色控制
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
摘要显示,该研究提出 Paint-Anything,通过对象级颜色监督学习共享的十六进制颜色提示接口,统一支持图像生成与编辑中的任意颜色控制。作者构建了 Paint-500K 数据管线(对象定位、感知颜色标注、编辑对合成),并用纯色锚点在噪声较高时间步补充监督。同时提出 ACBench 基准。在 FLUX.2-4B 上,ACBench-T2I 与 ACBench-Edit 分数分别提升 85.3% 和 28.3%。
意义:为扩散模型提供更精确的对象级颜色控制与统一生成/编辑接口,并给出可复用的评测基准,利于设计与电商等可控生成应用。
- 论文公开站arXiv
LLM助手的可验证社会推理
Verifiable Social Reasoning for LLM Assistants
摘要显示,针对LLM助手在社交咨询场景中难以评测的问题,研究者提出Fuse多智能体仿真框架:目标智能体带有隐藏动机,与包括用户代表的智能体互动,用户再向被评测助手咨询以推断该动机,从而天然构造可验证的真实标签。研究用2.4万条标注的人类研究验证仿真保真度,并在12个LLM上实验,发现用户中介会加剧社会推理难度、模型对用户有偏框架存在系统性敏感、模型有时需要比人类更多的细节才能做出正确预测,且更长对话不总能提升表现。作者开源Fuse及含2…
意义:为LLM社交推理提供可验证评测基准与开源数据集,揭示用户中介与偏见框架对模型判断的系统性影响,利于助手安全性评估。