- 论文公开站arXiv
深度粗糙波动率中的不确定性与可解释性:神经信息论后验方法
Uncertainty and Explainability in Deep Rough Volatility: A Neural Information-Theoretic Posterior Approach
摘要显示,该研究提出基于模拟推断的粗糙 Heston(rHeston)校准框架,利用神经比率估计学习隐含波动率曲面条件下的参数后验分布,并将后验样本传播至异方差神经代理定价器,得到融合参数残差不确定性与代理条件不确定性的后验预测价格区间。作者还提出 Hellinger-SHAP,一种以后验信息泛函为对象的可解释性方法,用于识别各参数信息增益对应的期限-行权价区域。模拟研究表明,后验预测区间在远期启动、障碍与方差互换类合约上覆盖率合理或保…
意义:为波动率模型校准提供不确定性量化与可解释性工具,提示开发者仅用点估计定价可能不可靠,需关注后验预测区间。
- 论文公开站arXiv
信任引导的决策Transformer
Trust Guided Decision Transformer
摘要显示,Decision Transformer 在长程 rollout 中因条件上下文偏离训练分布而性能下降,这种漂移可通过模型自身的下一状态预测误差观察到。作者提出 Trust Guided Decision Transformer(TGDT),先用滚动下一状态预测误差并结合 split conformal prediction 校准阈值筛选可信上下文后缀,再由冻结 critic 在可信后缀中选择最高价值动作。D4RL 导航与运动…
意义:为离线强化学习中的长程决策提供了一种基于模型自检误差的上下文可靠性筛选思路,有助于提升 Decision Transformer 类方法的稳定性。
- 论文公开站arXiv
直接反馈对齐中的共模坍缩与恢复
Common-Mode Collapse and Recovery in Direct Feedback Alignment
摘要显示,直接反馈对齐(DFA)用固定随机投影回传输出误差训练隐藏层,在 tanh 隐单元与独立 sigmoid 输出下,普通 SGD 可能停滞在接近类别频率常数预测器的损失水平。作者将停滞归因于误差中的共模成分,通过精确的均值-协方差分解分离出由均值教学信号和均值突触前活动构成的秩一更新,其主成分推动 tanh 单元饱和。校准读出基线可抑制坍缩并加速学习。
意义:揭示固定随机反馈训练不稳定的共模机制,为对齐类算法与无反向传播训练的优化设计提供改进思路。
- 论文公开站arXiv
λ控制GRPO:将流匹配比率不稳定性转化为预算资源
$λ$-Controlled GRPO: Turning Flow-Matching Ratio Instability into a Budgeted Resource
摘要显示,该研究针对流匹配模型强化学习(Flow-GRPO)中多步去噪训练不稳定的问题,指出重要性比率漂移、离散化、裁剪率差异等看似独立的失效模式实际源于单一的「路径方差」量,该量由采样器的高斯转移核精确决定并可低成本估计。作者提出 λ-Controlled GRPO,依据预测规律校准重要性比率行为,并按预测代价在去噪步间分配梯度预算,两个尺度由标准策略选择固定而非自由调参。在文本到图像模型上以 OCR 评分渲染难目标文本等两种奖励设置…
意义:为流匹配生成模型的强化学习对齐提供了可度量、可预算的稳定性机制,减少对手工调参稳定器的依赖,对图像生成模型的 RL 训练工程有直接参考价值。
- 论文公开站arXiv
可用护栏:跨ML系统认证选择性预测
Available Guardrails: Certifying Selective Prediction across ML Systems
摘要显示,该论文将选择性预测器视为安全门,要求在每个报告单元上以目标精度认证可靠性。作者用经典精确二项式反演使“可用性”可计算,并将固定组序下的报告分区选择建模为动态规划,揭示安全、粒度与覆盖流量之间的权衡。结果显示,真实信息规划者比支持平衡平均覆盖率提升0.157,而朴素估计器仅恢复0.005;跨规划/选择分割可部分弥补差距,提升0.060,方向在60个模型效应中59个复现。
意义:为需要按工具、策略标签或患者亚组认证精度的ML部署提供可计算框架,提示有限校准数据下认证可用性是核心瓶颈。
- 论文公开站arXiv
多跳检索中的可预测失败:分数分布置信评分与弃答
Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention
该论文指出多跳检索失败并非均匀分布,而是聚集在结构上可预测的子群体中。作者证明两个结论:置信失败缩减可归约性,以及特征机制互补性。提出 RegimeAbstain 方法,计算检索置信分数(RCS),该分数由最多九个查询-ANN 结构特征的逻辑函数构成,无需额外 LLM 调用,并据此实现校准弃权策略。在三个多跳基准和两种检索架构上评估,RCS 在五种条件下均取得最佳或并列最佳 AUC-AC。
意义:为 RAG 多跳检索提供无需额外 LLM 调用的置信度评分与弃权方案,可降低高置信错误答案率,提升检索系统可靠性。
- 论文公开站arXiv
嵌入模型以奇特方式度量
Embedding Models Measure in Peculiar Ways
摘要显示,该研究考察嵌入空间是否反映质量、距离、时间和体积等物理测量,而这些量本应具有唯一客观的语义等价与距离关系。结果发现,嵌入空间对物理测量的建模仅较弱,且呈现出相当奇特的度量模式;进一步分析表明,物理测量的嵌入表示受表层字符串相似性强烈影响,重新校准相似度也未显著改善对齐效果。
意义:提示嵌入模型的语义相似度可能被表层字符串特征主导,对需要数值与物理量推理的应用构成风险。
- 论文公开站arXiv
ENCP:用于视觉语言导航的回合归一化共形预测
ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation
摘要显示,针对视觉语言导航(VLN)智能体需多步序贯决策、标准共形预测在校准中无法为依赖且变长的导航回合提供覆盖保证的问题,作者提出回合归一化共形预测(ENCP):用策略残差置信度重新缩放非一致性分数,并为每个回合校准一个最大分数。在可交换校准与测试回合假设下,该方法以至少 1-α 的概率覆盖每一步真值,同时允许回合内步骤间存在依赖。在 R2R 与 REVERIE 数据集上、四种 VLN 策略与三种非一致性分数下,ENCP 在已见到未见…
意义:为序贯决策智能体提供模型无关的不确定性估计与覆盖保证,可用于判断导航智能体何时应交由更强预测器或人类协助。
- 论文公开站arXiv
LLM何时应弃答?用于选择性风险控制的自问链
When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk Control
摘要显示,论文提出仅靠提示词的 Chain-of-Self-Questioning(CoSQ)框架,让模型在明确评估回答问题所需信息后再决定是否作答。在 TruthfulQA 817 题多选题验证集上,用 11 个开源与托管模型家族测试 17 种条件:平衡选项协议下 Grounded-CoSQ(τ=0.90)将平均无条件错误作答率从思维链提示的 13.1% 降至 8.9%,相对下降 32.1%,作答准确率由 86.9% 升至 89.7%…
意义:为开发者提供无需训练、可调阈值的拒答机制,在高风险场景中以可控覆盖率降低无依据作答风险。
- 论文公开站arXiv
离线强化学习中的边际重要性加权:保序贝尔曼校准方法
Bellman Calibration for Marginalized Importance Weighting in Offline Reinforcement Learning
摘要提出了一种名为保序贝尔曼校准的一维模型无关后处理方法,用于减少离线强化学习中边际重要性加权估计的占用率平衡违规。该方法通过拟合非递减变换类来校正初始估计的尺度和形状,并具有校准-细化界限,保证小校准误差的估计性能接近最优后处理。同时建立了有限样本校准保证和KL oracle不等式。
意义:该方法为离线强化学习中的重要性加权估计提供了可诊断的校正手段,有助于提升策略评估的可靠性,对模型选择和超参数调优有实际意义。
- 论文公开站arXiv
生成评估中FID掩盖的偏差:检测、排序与诊断
What FID Hides: Detecting, Ranking, and Diagnosing Deviations in Generative Evaluation
摘要显示,生成模型常用FID和KID评估,但FID仅基于前两阶矩,可能忽略分布差异,且标量差距未校准采样变异。在ImageNet上,仅优化匹配Inception均值和协方差的不可识别图像,其FID为24.7,而保留的真实图像为58.6。FID和KID为对称标量,无法编码离散度变化方向。为此,引入ZID,结合六个位置和离散敏感指标,输出排序指数、置换p值和符号离散读数,以检测偏差并排序严重性。
意义:为生成模型评估提供更全面的诊断工具,帮助开发者识别模型与真实数据的细微偏差,优化模型调优。
- 论文公开站arXiv
EG-ARSA:面向低资源场景的视觉道路安全审计开放专家模型
EG-ARSA: An Expert-Grounded Open Model for Visual Road Safety Auditing in Low-Resource Settings
该研究提出专家接地蒸馏(EGD)框架,将机构道路安全专业知识迁移至紧凑视觉语言模型,用于可扩展的视觉道路安全审计。通过量化校准阶段,教师模型与权威实地审计达成显著一致(Cohen's kappa=0.74)。蒸馏后的80亿参数学生模型采用低秩适应。研究还发布了首个开放专家接地的孟加拉道路安全审计数据集BD-ARSA,含21,947条图像审计记录,以及首个专为此任务开发的视觉语言模型EG-ARSA。实验显示,接地微调显著提升了序数风险评估…
意义:为低资源环境提供可扩展的视觉道路安全审计方案,通过专家接地蒸馏提升模型可靠性,对AI在公共安全领域的落地具有示范意义。
- 论文公开站arXiv
序列预测中的真实校准度量研究
Truthful Calibration Measures for Sequential Prediction
校准要求概率报告有条件的无偏且可解释为概率。校准度量衡量误校准报告的数值误差。Haghtalab等人(2024)提出了一种近似真实的在线预测校准度量,但精确真实性是否与完备性和可靠性兼容仍是开放问题。本研究否定性地解决了该问题:在序列二元预测中,即使结果独立,精确真实性与完备性和可靠性不可兼得。随后研究表明该不可能性仅针对精确真实性。作者给出两种从基础校准度量出发的通用归约,分别产生加性和乘性近似真实的校准度量。应用乘性归约,对每个0<…
意义:为在线预测和概率校准提供理论指导,明确精确真实性的局限,并给出改进的近似真实度量构造方法,对算法设计和评估指标有参考价值。
- 论文公开站arXiv
TCP_α:用于可靠音乐信息检索的边际控制置信度估计
$TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval
深度神经网络常过度自信,即使预测错误也给出高置信度。后验置信度估计通过训练轻量辅助头解决此问题,但现有目标存在歧义。本文提出TCP_α,一种新置信度目标,通过引入边际控制惩罚来分离正确与错误预测的置信度,并证明其分离边际与类别数无关且随惩罚参数单调增加。研究针对不平衡回归的训练策略,并在拉格识别等任务上验证有效性。
意义:为音乐信息检索等任务提供可靠的置信度估计,有助于开发者构建更可信的AI系统,减少因过度自信导致的错误决策。