- 论文公开站arXiv
离线强化学习中的边际重要性加权：保序贝尔曼校准方法
Bellman Calibration for Marginalized Importance Weighting in Offline Reinforcement Learning
摘要提出了一种名为保序贝尔曼校准的一维模型无关后处理方法，用于减少离线强化学习中边际重要性加权估计的占用率平衡违规。该方法通过拟合非递减变换类来校正初始估计的尺度和形状，并具有校准-细化界限，保证小校准误差的估计性能接近最优后处理。同时建立了有限样本校准保证和KL oracle不等式。
意义：该方法为离线强化学习中的重要性加权估计提供了可诊断的校正手段，有助于提升策略评估的可靠性，对模型选择和超参数调优有实际意义。