站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
Re³Cap：基于检索引导的强化学习图像描述优化方法
Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
Re³Cap提出一种检索引导的推理策略，用于增强图像描述生成，无需额外标注。该方法通过描述细化建议器和质量评估器，识别并修正描述中的幻觉与遗漏，从而生成更准确、详细的描述。实验表明，在COCO-LN500基准上，Re³Cap在关系推理任务上平均比GRPO提升8.64%，甚至优于监督微调方法。
意义：该方法利用多模态检索作为推理信号，提升强化学习在图像描述中的探索能力，为无需额外标注的模型优化提供了新思路。