- 论文公开站arXiv
分数中心化稳定离策略强化学习
Score Centering Stabilizes Off-policy Reinforcement Learning
摘要显示，大语言模型强化学习对训练引擎与推理引擎之间的微小差异（训练-推理不匹配，TIM）高度敏感，而完全消除 TIM 会显著牺牲 rollout 效率。作者认为 TIM 下 RL 不稳定的主因是「漂移」——训练与推理引擎间随训练步数累积的持续偏差，并提出加性的「分数中心化」修正项来抵消漂移。在 0.6B 至 30B 参数模型上，该方法在量化条件下匹配或优于基于重要性采样的方法，且不匹配越严重优势越大；由于修正是加性的，它还能与重要性采…
意义：为 LLM 强化学习训练中普遍存在的训练-推理引擎不一致问题提供了一种轻量、可组合的稳定性修正，有助于在不牺牲 rollout 效率的前提下提升大规模 RL 训练稳定性。
- 资讯公开站Ars Technica
使用AI水印时，LLM对有害提示的响应不同
LLMs respond differently to harmful prompts when AI watermarking is used
摘要显示，当使用SynthID等AI水印技术时，大语言模型对有害提示的反应会发生变化：原本会拒绝的有害指令，在水印机制下可能被模型执行。这表明水印嵌入过程可能削弱模型的安全对齐，使其更易受对抗性提示影响。
意义：提醒开发者：内容水印可能引入新的安全风险，需在部署前评估其对模型对齐与对抗鲁棒性的影响。
- 论文公开站arXiv
基于VLM智能体的上下文机器人学习
In-Context Robot Learning with VLM Agents
摘要显示，该研究提出 GPT-Policy，一种面向上下文机器人学习的通用智能体框架，整合了保留任务相关视觉过渡的上下文编译器、提出机器人工具动作的视觉语言模型（VLM），以及验证并执行动作、反馈结果的受限控制器。在真实机器人试验中，人类视频演示即使没有机器人动作标签也能提升任务完成率，对齐的动作参考在接触敏感任务上带来进一步增益，无需梯度更新或持久修改任务参数。
意义：为机器人泛化提供无需微调的新范式，降低部署成本，并凸显VLM作为机器人策略核心组件的潜力。
- 论文公开站arXiv
目标 vs. 搜索：分解什么造就了好的分词器
Objective vs. Search: Decomposing What Makes a Good Tokeniser
摘要显示，研究将分词算法差异拆解为优化目标（压缩 vs 对数似然）与搜索过程（自底向上合并 vs 自顶向下剪枝）两个正交维度，并补全 2×2 设计空间，提出 BottomUpLL 与 TopDownComp 两种新算法。在不同模型规模、词表大小及单语/多语场景下训练语言模型并以 bits-per-byte 评估，发现搜索过程而非优化目标是主导因素，自底向上分词器在多数设置下取得更低 bits-per-byte；但在 BLiMP 任务上设…
意义：为开发者选择或设计分词器提供实证依据：优先关注搜索过程而非优化目标，可能更有效提升语言建模效率。
- 论文公开站arXiv
LACE：面向动态帧率编解码器的逐层压缩
LACE: Layer-Wise Compression for Dynamic Frame Rate Codecs
摘要显示，神经音频编解码器帧率高导致序列过长、计算成本上升，动态帧率编解码器通过压缩步骤合并多帧来缓解。但已有方法多针对单码本，或在多层量化前只做一次压缩，使各量化层共享相同分段边界，而不同层的残差嵌入随时间变化速率不同。作者提出 LACE（Layer-Adaptive Codec Encoding），在每个量化层独立压缩以支持层特定分段边界，并引入联合对齐与边界锚机制，用于下游 TTS。LibriTTS 实验显示其在重建的率-质量权衡…
意义：为语音语言模型与 TTS 提供更高效的 token 压缩方案，降低序列长度与推理成本，代码已并入 ESPnet3。
- 论文公开站arXiv
有效学习率主导语言模型预训练中的损失动态
Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
摘要显示，在语言模型预训练中发现有效学习率（ELR）坍缩现象：学习率与参数范数主要通过其比值（即有效学习率）影响损失动态。当ELR匹配时，不同运行间的损失轨迹在整个训练过程中坍缩，尽管学习率和参数范数差异显著。跨优化器、架构、数据集和模型规模，平均坍缩误差通常为几乘以10^-3，低于代表性配置中种子间变异。系统消融表明，归一化设计和学习率-范数变化的时间尺度是坍缩精度的关键决定因素。受控干预进一步显示，权重衰减和超球形状主要通过其诱导的…
意义：为语言模型预训练提供统一的优化视角，有助于改进学习率调度与范数控制策略，提升训练效率与可预测性。
- 论文公开站arXiv
部分知识下的约束实体选择：面向LLM知识图谱问答
Constrained Entity Selection under Partial Knowledge for LLM-Based Knowledge Graph QA
该论文研究大语言模型在知识图谱问答中的实体选择问题，提出CES-PK框架，利用轻量级符号约束（类型、关系、排除）过滤无效候选答案，并采用三值语义（满足、违反、未知）处理不完整知识图谱。在Hetionet生物医学知识图谱上的实验显示，该方法能提升精确率，同时保持召回率。
意义：提供一种无需完整语义解析即可提升KGQA可靠性的方法，对构建可验证的LLM问答系统有参考价值。
- 论文公开站arXiv
双维度LLM框架用于大规模测评中题目非内容相似性自动分析
A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments
该研究提出一种基于大语言模型的双维度自动题目相似性分析框架，通过结构化分解和语义相关性来检测题目中非内容冗余。心理测量验证显示，LLM指标比传统文本指标更接近构念无关局部依赖，并产生更一致的题目参数分组。在计算机自适应测试中，基于LLM的相似性约束提高了估计稳定性并减少了偏差。
意义：为大规模题库管理提供新方法，提升自适应测试的准确性和效率，对教育测评AI应用有重要价值。
- 论文公开站arXiv
读取不等于使用：检索、判断与AI金融研究工作流的设计
Reading Is Not Using: Retrieval, Judgment, and the Design of AI Financial Research Workflows
摘要显示，大型语言模型在金融分析中的评估通常基于检索能力，而非检索信息对判断的影响。研究发现，在长上下文金融分析中存在“检索-整合缺口”：当无关上下文从2000增至128000个token时，风险披露对投资判断的影响降至噪声水平，尽管直接检索仍准确。该现象在多个模型家族和任务中复现，且更强大的模型仅推迟而非消除此缺口。因果记忆干预表明，压缩摘要和源文本查找共同传递披露信息，而工作流架构（如分块-总结流水线会逐出相关信息）决定传递成败。因…
意义：对AI行业而言，提示了仅靠检索评估的不足，强调工作流设计对模型实际决策的影响，为金融AI系统开发提供关键考量。
- 论文公开站arXiv
ConvergeFlow：具有可证明收敛到词元嵌入的语言流模型
ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
ConvergeFlow是一种基于嵌入空间的流式语言模型，将数据预测器限制在词元嵌入的凸包内，并仅使用流匹配的均方误差目标进行训练。在适当正则条件下，证明该流能收敛到有效词元嵌入，无需交叉熵解码器即可直接预测词元。实验表明其在OpenWebText上性能与现有连续和离散扩散模型相当。
意义：该研究简化了连续语言模型的训练流程，无需交叉熵解码器，为流式语言建模提供了理论基础，可能提升生成效率与可控性。
- 论文公开站arXiv
Prime Agent：一种自我改进的递归语言模型工具链
Prime Agent: A Self-Improving RLM Harness
Prime Agent是一个开源工具链，用于长时程评估和编码智能体工作流。它采用递归语言模型抽象，通过持久化IPython REPL进行程序化上下文处理，并持续保存历史、记忆、技能和子智能体配置。递归子智能体可直接通信，人类可通过代理视图监控会话。该工具标准化执行、恢复、验证和资源核算，将策略构建留给模型，防止工具链故障影响模型表现。在ARC-AGI-3上，其RHAE Best@1从30%提升至95.5%，并在多项任务上达到或超过其他主…
意义：提供标准化工具链，减少环境故障干扰，提升模型真实能力评估，对长时程智能体开发具有参考价值。
- 论文公开站arXiv
EG-ARSA：面向低资源场景的视觉道路安全审计开放专家模型
EG-ARSA: An Expert-Grounded Open Model for Visual Road Safety Auditing in Low-Resource Settings
该研究提出专家接地蒸馏（EGD）框架，将机构道路安全专业知识迁移至紧凑视觉语言模型，用于可扩展的视觉道路安全审计。通过量化校准阶段，教师模型与权威实地审计达成显著一致（Cohen's kappa=0.74）。蒸馏后的80亿参数学生模型采用低秩适应。研究还发布了首个开放专家接地的孟加拉道路安全审计数据集BD-ARSA，含21,947条图像审计记录，以及首个专为此任务开发的视觉语言模型EG-ARSA。实验显示，接地微调显著提升了序数风险评估…
意义：为低资源环境提供可扩展的视觉道路安全审计方案，通过专家接地蒸馏提升模型可靠性，对AI在公共安全领域的落地具有示范意义。
- 开源项目公开站GitHub
从零开始用PyTorch实现ChatGPT式大语言模型的逐步教程
rasbt/LLMs-from-scratch — Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
该GitHub仓库提供从零开始用PyTorch实现ChatGPT式大语言模型的详细教程。内容涵盖数据准备、模型架构、训练与微调等步骤，旨在帮助开发者深入理解LLM内部机制。仓库已获得超过10万星标，表明其受欢迎程度和实用性。
意义：为开发者提供从零构建LLM的实战指南，有助于深入理解Transformer架构和训练细节，是学习和研究大模型的重要资源。
- 论文公开站arXiv
重新思考测试时训练的表示能力与效率：E²-TTT 方法
Rethinking Expressivity and Efficiency in Test-Time Training
摘要介绍了一种名为 E²-TTT 的新方法，旨在平衡测试时训练（TTT）中逐 token 更新动态的表示能力与分块近似的硬件效率。该方法在标准近似下推导出闭式状态转移，精确复现逐 token 循环的块端快速权重和动量状态，实现完全并行化的块级训练，同时保留先前分块方法丢弃的时间结构。通过在最多 1.3B 参数模型上的验证，E²-TTT 在语言建模上与现有 TTT 和混合注意力基线相当，但在上下文检索上表现更优，尤其在长度外推上优势显著，…
意义：E²-TTT 为长上下文处理提供了兼顾表示能力与硬件效率的解决方案，有望提升语言模型在长序列任务中的性能，并推动 TTT 方法的实际应用。
- 论文公开站arXiv
VIALS：生命科学视觉工件解读基准
VIALS: A Benchmark for Visual Interpretation of Artifacts in the Life Sciences
VIALS 是一个视觉问答基准，包含161个生物技术行业实验流程中常见的视觉工件解读任务，如凝胶电泳图、显微镜图像、质粒图谱等。研究发现，前沿视觉语言模型虽能流畅描述自然图像，却难以准确解读这些科学图像，反映出领域知识和特定视觉推理能力的不足。而具备相关专业知识的科学家则觉得这些任务简单。
意义：该基准揭示了当前视觉语言模型在专业科学领域的短板，对开发面向生命科学行业的AI工具具有重要指导意义，推动模型提升领域特定视觉推理能力。
- 论文公开站arXiv
注入、对齐、恢复：面向无检索文档知识内化的分阶段后训练框架
Inject, Align, Recover: Staged Post-Training for Retrieval-Free Document Knowledge Internalization
大型语言模型在推理时无法检索源文档时，往往难以回答关于特定文档集的问题。为此，本文提出IAR（注入、对齐、恢复）三阶段后训练框架，将固定语料转化为可用的参数化知识，实现无检索问答。注入阶段采用续写、改写和指令条件重建目标；对齐阶段使用仅答案的问答监督；恢复阶段合并领域适配模型与基础指令模型以恢复通用能力。实验显示，在多个模型家族和数据集上，IAR在领域问答准确率上平均提升3.6个百分点，通用性能平均提升12.1个百分点。
意义：该框架为无需检索的文档知识内化提供了新方法，提升领域问答准确率的同时保持通用能力，对构建高效、实用的领域专用模型具有重要意义。
- 论文公开站arXiv
幻影增益：对照实测零基准审计自我改进
Phantom Gains: Auditing Self-Improvement Against a Measured Null
摘要显示，评估语言模型自我改进时，追踪个体问题得失易受测量伪影影响。对Qwen3-8B进行三轮LoRA自训练，与冻结对照比较，发现七种测量失败，每种在无对照时都会反转报告结论。贪心解码产生的记录在未训练模型上制造能力变化，扩展统计量错误归因。提出逐问题精确检验，在FDR控制下未检测到任何保留复制上的效应。外部蒸馏改善基础模型难及问题，而三种自训练未现此效，回归分析拒绝不对称性源于蒸馏总体增益更大（p<10^-8）。
意义：为AI开发者提供评估模型自我改进的严谨审计方法，避免测量伪影导致虚假结论，对模型迭代和对比至关重要。
- 论文公开站arXiv
基于智能体方法的活动数据收集、出行行为建模与天气敏感需求预测
An Agentic Approach for Active Data Collection, Travel Behavior Modeling, and Weather-Sensitive Demand Prediction
摘要显示，本研究提出一个三智能体工作流，整合对话式数据收集、结构化数据处理和行为预测。通过聊天机器人管理的图像增强陈述偏好调查，收集了454条学生通勤者在五种天气情景下的出行方式选择数据。使用多项逻辑模型分析天气关联，并以逻辑回归和随机森林作为机器学习基准。评估了九个本地部署的大语言模型，范围从2亿到350亿参数，在四种零样本提示条件下，并扩展了角色、少样本和视觉配置。最佳文本零样本LLM达到69.9%的准确率，而最佳视觉配置达到71.…
意义：该研究展示了大语言模型在出行行为预测中的潜力，并比较了不同提示策略的效果，为开发天气敏感的智能出行服务提供了新思路。
- 开源项目公开站GitHub
LangChain：智能体工程平台
langchain-ai/langchain — The agent engineering platform.
LangChain是一个智能体工程平台，旨在帮助开发者构建基于大型语言模型的应用程序。它提供了模块化组件，用于链式调用、记忆管理、工具集成等，支持多种模型提供商。该平台拥有庞大的社区和丰富的文档，是构建LLM应用的主流框架之一。
意义：作为主流LLM框架，LangChain降低了构建复杂智能体的门槛，其生态和工具链对AI应用开发至关重要。
- 开源项目公开站GitHub
Ollama：支持Kimi-K2.6、GLM-5.2等模型的本地运行工具
ollama/ollama — Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.
摘要显示，Ollama是一个用于本地运行大型语言模型的工具，支持Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma等模型。该项目在GitHub上获得179,219颗星，表明其广受欢迎。
意义：为开发者提供便捷的本地模型运行方案，支持多种主流模型，降低AI应用开发门槛。
- 开源项目公开站GitHub
微软 Semantic Kernel：快速集成前沿大语言模型到应用中
microsoft/semantic-kernel — Integrate cutting-edge LLM technology quickly and easily into your apps
Semantic Kernel 是微软推出的开源 SDK，旨在帮助开发者轻松地将大语言模型（LLM）集成到应用程序中。它支持多种编程语言，提供插件、规划器等功能，简化 AI 功能的开发与部署。该仓库在 GitHub 上已获得 28,480 颗星，受到广泛关注。
意义：为开发者提供标准化的 LLM 集成框架，降低 AI 应用开发门槛，加速 AI 功能落地，是微软在 AI 开发工具领域的重要布局。
- 开源项目公开站GitHub
minimind：2小时从零训练64M参数大语言模型
jingyaogong/minimind — 🧠 Train a 64M-parameter LLM from scratch in just 2h!
GitHub项目minimind展示了从零开始训练一个仅64M参数的大语言模型，训练时间仅需2小时。该项目提供了完整的训练流程和代码，旨在降低LLM训练门槛，让开发者能够快速上手并理解大模型的基本原理。项目在GitHub上已获得超过5万星标。
意义：对开发者而言，降低了训练大模型的门槛，有助于快速理解LLM训练流程；对AI行业，展示了轻量化模型的高效训练可能性。
