- 开源项目公开站GitHub
PyTorch Lightning：零代码修改在1至10000+ GPU上预训练与微调任意规模AI模型
Lightning-AI/pytorch-lightning — Pretrain, finetune ANY AI model of ANY size on 1 or 10,000+ GPUs with zero code changes.
PyTorch Lightning 是一个开源库，允许用户在不修改代码的情况下，在单个或大量GPU上预训练和微调任何规模的AI模型。该库简化了训练流程，支持灵活扩展，并拥有超过3.1万星标，表明其社区活跃度和广泛认可。
意义：为开发者提供高扩展性和易用性，降低大规模训练门槛，加速AI模型迭代。
- 论文公开站arXiv
注入、对齐、恢复：面向无检索文档知识内化的分阶段后训练框架
Inject, Align, Recover: Staged Post-Training for Retrieval-Free Document Knowledge Internalization
大型语言模型在推理时无法检索源文档时，往往难以回答关于特定文档集的问题。为此，本文提出IAR（注入、对齐、恢复）三阶段后训练框架，将固定语料转化为可用的参数化知识，实现无检索问答。注入阶段采用续写、改写和指令条件重建目标；对齐阶段使用仅答案的问答监督；恢复阶段合并领域适配模型与基础指令模型以恢复通用能力。实验显示，在多个模型家族和数据集上，IAR在领域问答准确率上平均提升3.6个百分点，通用性能平均提升12.1个百分点。
意义：该框架为无需检索的文档知识内化提供了新方法，提升领域问答准确率的同时保持通用能力，对构建高效、实用的领域专用模型具有重要意义。