- 论文公开站arXiv
LeapQuant：具有精确循环状态量化的高效线性注意力
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
近期大模型越来越多采用线性注意力替代标准注意力，如Gated DeltaNet和Kimi Delta Attention。这些方法将上下文压缩为固定大小循环状态，大幅降低长上下文成本。本文提出LeapQuant。
- 论文公开站arXiv
简化上下文机器人学习：面向操作任务的民主化方案
In-context Robot Learning Made Simple: A Democratized Recipe for Manipulation Tasks
本文研究机器人上下文学习（ICL），这一新兴范式使机器人能从视觉演示中推断并执行任务。尽管前景广阔，但问题本身仍定义不清：视觉演示同时传达动作轨迹和物体信息。
- 论文公开站arXiv
局部去噪的崩溃作为语义物种形成
Breakdown of Local Denoising as Semantic Speciation
生成模型动力学呈现两个看似不同的时间窗口：样本确定语义类别的物种形成窗口，以及局部上下文窗口不足以生成的非局域窗口。本文受二者近乎同步的证据启发展开研究。
- 论文公开站arXiv
面向智能体强化学习高效压缩的KV-streams
KV-streams for Efficient Compaction in Agentic Reinforcement Learning
扩展智能体LLM的时域受限于需将越来越长的上下文轨迹装入GPU内存。上下文压缩是缓解该问题最常用的机制，可在给定轨迹下保持GPU内存恒定，但多数压缩策略存在不足。
- 论文公开站arXiv
TokenCast：预测LLM智能体执行中的Token消耗
TokenCast: Forecasting Token Consumption During LLM Agent Execution
同一任务下LLM智能体各次运行的Token消耗可相差一个数量级以上，因智能体依据工具反馈与中间结果选择下一步，且上下文不断膨胀推高输入规模。
- 论文公开站arXiv
信任引导的决策Transformer
Trust Guided Decision Transformer
摘要显示，Decision Transformer 在长程 rollout 中因条件上下文偏离训练分布而性能下降，这种漂移可通过模型自身的下一状态预测误差观察到。作者提出 Trust Guided Decision Transformer（TGDT），先用滚动下一状态预测误差并结合 split conformal prediction 校准阈值筛选可信上下文后缀，再由冻结 critic 在可信后缀中选择最高价值动作。D4RL 导航与运动…
意义：为离线强化学习中的长程决策提供了一种基于模型自检误差的上下文可靠性筛选思路，有助于提升 Decision Transformer 类方法的稳定性。
- 论文公开站arXiv
面向编程代理的紧凑文档：基准、优化器及为何无法迁移
Compact Documentation for Coding Agents: A Benchmark, an Optimizer, and Why It Does Not Transfer
摘要显示，研究者构建了一个往返基准，用「由描述重新生成的代码能否通过原测试」来评分代码描述质量，发现完整性而非长度决定描述保真度；并据此优化出可泛化到未见文件的描述生成提示。但跨两个模型家族、十个仓库的测试表明，在源码存在时，静态紧凑文档或检索上下文均无法帮助代理解决真实仓库问题，作者将此负面结果连同基准与优化器一并报告。
意义：提示开发者：为编码代理生成文档未必提升真实任务表现，评估代理上下文策略需谨慎，避免无效投入。
- 论文公开站arXiv
观察、回忆、行动：并发具身流中的常开机器人
Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams
摘要显示，论文针对「永远在线」机器人面临的持续指令流、场景变化与自身历史动作影响问题，提出 ARMS 流式策略：以预训练 π0.5 为骨干，叠加三个轻量模块，将实时感知、具身状态与自身过去动作转为上下文，异步更新使「看」与「忆」不阻塞「行动」，双臂可并发执行。作者构建 ARMS Dataset 以真实双臂遥操作自动标注各模块，联合任务达 45%，强基线为 28%，消融显示记忆模块、具身状态头与异步并发均必要。
意义：为长时在线、可中断的具身智能体提供简单可扩展的流式上下文方案，异步并发设计对实时机器人系统有直接参考价值。
- 论文公开站arXiv
作者验证的对比学习
Contrastive Learning for Authorship Verification
摘要显示，在测试设定下对比学习方法在作者身份验证任务上优于基于分类的方法。研究识别出损失函数、批量大小、训练时长、预训练模型、输入上下文长度及随机文本片段数据增强为影响模型性能的关键因素，并据此构建了ModernBERT双编码器模型，在PAN21作者身份验证任务上取得98.4%的准确率。
意义：为文本作者归属与AI生成内容溯源提供高精度基线，双编码器+对比学习范式可迁移至其他文本匹配任务。
- 论文公开站arXiv
扩展执行框架而非上下文：从无策略脚手架到可复用专家智能体
Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents
摘要显示，该研究提出 Growing Harness 训练范式，从仅暴露固定模型与工具接口、不含任务求解控制器的无策略脚手架出发，利用函数级执行轨迹将失败定位到有限代码范围，由优化器联合修复一组失败，并以成功优先的留出集门控回滚有害修改，使控制结构从任务反馈中逐步涌现。在 BrowseComp-Plus 与 WebArena-Verified 及 4B 至 120B 三种模型上，六种设置中五种平均成功率最高，第六种落后最优 0.7 个百…
意义：该工作把智能体控制逻辑沉淀为可复用代码而非反复填充上下文，显著降低调用次数与推理成本，并为小模型补齐长程任务能力提供新思路。
- 论文公开站arXiv
CliffCompaction：面向长时程编码智能体的低成本压缩
CliffCompaction: Cost-Efficient Compaction for Long-Horizon Coding Agents
摘要显示，CliffCompaction 是一种自动压缩技术，在有限上下文窗口下可将成本降低最多 50%，同时在 Terminal-Bench 上保持或提升性能，并在 KernelBench 上取得领先结果。其核心在于压缩时只截断或丢弃内容，绝不改写重述，且每轮压缩只处理原始内容、丢弃旧压缩产物，以避免上下文漂移。摘要称其在 KernelBench 上 200 步后实现 2.23 倍、400 步后 3.58 倍的 CUDA 内核加速。
意义：为长周期编程智能体提供低成本上下文管理方案，使测试时扩展更经济，并开源 API 代理实现，便于开发者集成。
- 论文公开站arXiv
DolphinBench：绘制智能体记忆的帕累托前沿
DolphinBench: Mapping the Pareto Frontier of Agent Memory
摘要显示，现有记忆基准多采用对话问答形式，问题本身已暗示需检索的事实，且仅以准确率评分，允许系统以不合理成本与时间换取高分。DolphinBench 改为通过智能体任务完成度直接评估记忆，包含三种知识工作角色，每角色约 50 万 token 用户消息，每个角色 200 项任务均经有/无相关历史对照验证，并要求同时报告总成本与延迟。
意义：为智能体记忆系统提供兼顾准确率、成本与延迟的评测基准，有助于避免以不合理开销刷分的记忆方案。
- 论文公开站arXiv
RRSI：智能体框架的正则化递归自我改进
RRSI: Regularized Recursive Self-Improvement of Agent Harnesses
摘要显示，LLM 智能体的能力很大程度上由其运行框架（提示、控制流、工具、记忆与上下文管理）放大，近期方法通过迭代提出并筛选框架组件的编辑来实现智能体系统层面的递归自我改进，但容易记忆训练任务、在分布外基准上增益消失。作者提出 RRSI，在候选提出与选择环节引入正则化：提出器采用时间退火预算并鼓励探索未走过的演化路径，选择器配备评论器与剪枝器过滤基准特定、过小、过贵或失效的改动。在编码、智能体工作区与工程设计等八个基准上，摘要称其在演化…
意义：为智能体框架自动演化提供抗过拟合思路，提示开发者关注可复用机制而非基准特定调优。
- 论文公开站arXiv
用于高效端侧LLM生成式个性化的LoRA生成超网络
LoRA-generating hypernetworks for efficient on-device LLM generative personalization
摘要显示，该论文提出一种设备端LLM个性化方法：训练超网络将用户上下文token映射为适合该用户的LoRA，部署后在设备端合成个性化LoRA。该方法结合了上下文学习（ICL）与参数高效微调（PEFT）的优点：设备端阶段仅需前向传播，计算可行；同时通过权重修改基础模型，避免扩展输入序列带来的延迟增加，尤其适合移动设备场景。
意义：为移动端LLM个性化提供无需反向传播的可行路径，降低设备端算力与延迟门槛，对端侧AI应用开发有参考价值。
- 论文公开站arXiv
WorldCrafter：具有隐式3D感知记忆的一致视频世界模型
WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
摘要显示，WorldCrafter 是一种视频世界模型，学习可被相机查询的隐式3D感知记忆，让请求视角决定多视角证据如何压缩进视频生成器有限的 token 预算。记忆编码器与姿态条件读出模块同视频生成器联合训练，在去噪前将历史观测整合为固定数量的目标视角专属 token，无需显式深度对应。结合近期时序上下文与少步蒸馏，该模型支持从单张图像或文本提示进行流式场景探索，在静态与动态场景中提升了长时程一致性与相机控制精度。
意义：为长时程、跨视角一致的交互式视频世界模型提供隐式3D记忆方案，利于场景探索与相机控制类应用。
- 论文公开站arXiv
临界状态RL：诊断多轮工具使用中的可训练状态
Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use
摘要显示，多轮工具调用失败常取决于单次模型调用，但仅靠奖励变化无法判断哪次调用值得训练，因为奖励可能反映后续随机性而非当前动作差异。作者提出 Critical-State RL，通过评估每次候选调用的局部奖励是否反映其对任务成功的贡献、以及相对参考策略是否存在改进空间，并用嵌套采样分离动作相关奖励变化与延续噪声，在选定状态上以上下文赌博机方式优化策略。在 BFCL v4 上，诊断选出的状态训练优于其他状态，missing-functio…
意义：为多轮工具调用智能体提供一种定位关键可训练步骤的方法，有助于减少无效训练信号、提升 RL 微调效率。
- 论文公开站arXiv
编码智能体测试框架设计的实证研究
An Empirical Study of Harness Design for Coding Agents
该研究用轻量级编码框架在固定执行循环下，分别变化规划、动作空间与上下文管理三个组件，在 SWE-Bench Verified 与 Terminal-Bench 2.1 上对四个模型评测了 176 组匹配设置。摘要显示：上下文预算收紧时上下文管理价值上升，收益主要来自避免上下文溢出；规则式删减先于 LLM 摘要效率最佳；规划对弱模型提升准确率、对强模型主要节省成本；预定义工具利好 bash 能力弱的模型，而 bash 强模型用纯 bash…
意义：为构建编码智能体的开发者提供组件级实证依据，说明上下文管理、规划与工具接口应按模型能力与预算差异化设计，而非整体堆叠。
- 论文公开站arXiv
rMuscle：面向高效视觉-语言-动作模型推理的机器人肌肉记忆
rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference
摘要显示，论文先刻画了具身智能工作负载，发现机器人在重复执行任务时，其观测、动作轨迹乃至内部模型状态都存在显著相似性。基于此提出 rMuscle 实时 VLA 推理框架，采用双阶段「肌肉记忆」缓存：上下文缓存复用视觉 token 输出以减少计算，动作缓存复用神经元激活模式以减少权重访问，并通过在线缓存重算、滑窗检索和去噪步骤间掩码共享控制开销。在 LIBERO、RoboTwin 及物理操作任务上，于 RTX 4090 与 Jetson …
意义：为 VLA 机器人策略提供免重训练的推理加速思路，利用重复任务相似性降低延迟，对具身智能实时部署与边缘设备（如 Jetson Thor）有直接价值。
- 论文公开站arXiv
基于VLM智能体的上下文机器人学习
In-Context Robot Learning with VLM Agents
摘要显示，该研究提出 GPT-Policy，一种面向上下文机器人学习的通用智能体框架，整合了保留任务相关视觉过渡的上下文编译器、提出机器人工具动作的视觉语言模型（VLM），以及验证并执行动作、反馈结果的受限控制器。在真实机器人试验中，人类视频演示即使没有机器人动作标签也能提升任务完成率，对齐的动作参考在接触敏感任务上带来进一步增益，无需梯度更新或持久修改任务参数。
意义：为机器人泛化提供无需微调的新范式，降低部署成本，并凸显VLM作为机器人策略核心组件的潜力。
- 论文公开站arXiv
LimiX-2：面向通用结构化数据智能的上下文机制网络
LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence
摘要显示，LimiX-2 是 LimiX 家族新模型，依据既有缩放律进行模型与数据扩展，采用上下文机制网络（CMN）范式并以 Context-Conditional Masked Modeling 预训练。CMN 将上下文学习的组织原则从以目标为中心的预测转向机制导向的联合建模，学习 p(x, y | D_context) 而非传统表格 PFN 的 p(y | x, D_context)。预训练数据由结构因果模型生成。在 TabAren…
意义：为表格/结构化数据提供新的基础模型范式，兼顾预测性能与因果可解释性，对表格 AI 与因果发现方向有参考价值。
- 论文公开站arXiv
智能体社会需要社会性治理框架
Agentic Societies Need a Social Harness
摘要显示，论文提出"智能体社会"概念，指多个AI智能体代表不同主体、跨信任边界自主协作。实验表明，即便诚实且能力足够的智能体，在现有 harness 与消息原语下也常无法达成满意结果；而故障或恶意智能体可通过通信（"speech"）漏洞拖延协作、影响结果并追求有害目标。作者主张除管理私有上下文与委托人通信的"个人 harness"外，还需"社会性 harness"，并提出分层架构，实现失败预防、运行时无效消息检测与事后追责。
意义：为多智能体系统提供跨信任边界的通信安全与追责设计思路，对构建可审计、抗攻击的智能体协作基础设施有直接参考价值。
- 论文公开站arXiv
读取不等于使用：检索、判断与AI金融研究工作流的设计
Reading Is Not Using: Retrieval, Judgment, and the Design of AI Financial Research Workflows
摘要显示，大型语言模型在金融分析中的评估通常基于检索能力，而非检索信息对判断的影响。研究发现，在长上下文金融分析中存在“检索-整合缺口”：当无关上下文从2000增至128000个token时，风险披露对投资判断的影响降至噪声水平，尽管直接检索仍准确。该现象在多个模型家族和任务中复现，且更强大的模型仅推迟而非消除此缺口。因果记忆干预表明，压缩摘要和源文本查找共同传递披露信息，而工作流架构（如分块-总结流水线会逐出相关信息）决定传递成败。因…
意义：对AI行业而言，提示了仅靠检索评估的不足，强调工作流设计对模型实际决策的影响，为金融AI系统开发提供关键考量。
- 论文公开站arXiv
Prime Agent：一种自我改进的递归语言模型工具链
Prime Agent: A Self-Improving RLM Harness
Prime Agent是一个开源工具链，用于长时程评估和编码智能体工作流。它采用递归语言模型抽象，通过持久化IPython REPL进行程序化上下文处理，并持续保存历史、记忆、技能和子智能体配置。递归子智能体可直接通信，人类可通过代理视图监控会话。该工具标准化执行、恢复、验证和资源核算，将策略构建留给模型，防止工具链故障影响模型表现。在ARC-AGI-3上，其RHAE Best@1从30%提升至95.5%，并在多项任务上达到或超过其他主…
意义：提供标准化工具链，减少环境故障干扰，提升模型真实能力评估，对长时程智能体开发具有参考价值。
- 论文公开站arXiv
重新思考测试时训练的表示能力与效率：E²-TTT 方法
Rethinking Expressivity and Efficiency in Test-Time Training
摘要介绍了一种名为 E²-TTT 的新方法，旨在平衡测试时训练（TTT）中逐 token 更新动态的表示能力与分块近似的硬件效率。该方法在标准近似下推导出闭式状态转移，精确复现逐 token 循环的块端快速权重和动量状态，实现完全并行化的块级训练，同时保留先前分块方法丢弃的时间结构。通过在最多 1.3B 参数模型上的验证，E²-TTT 在语言建模上与现有 TTT 和混合注意力基线相当，但在上下文检索上表现更优，尤其在长度外推上优势显著，…
意义：E²-TTT 为长上下文处理提供了兼顾表示能力与硬件效率的解决方案，有望提升语言模型在长序列任务中的性能，并推动 TTT 方法的实际应用。
- 论文公开站arXiv
TurboBias 2.0：面向生产高效ASR系统的流式上下文偏置
TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
摘要显示，TurboBias 2.0是一个面向生产环境的ASR上下文偏置框架，基于Transducer架构，扩展了GPU加速的TurboBias，支持大小写不敏感的偏置图和每流批量解码，允许每个批次中的话语使用独立的上下文配置，实现多用户个性化偏置而无需共享列表。该框架支持离线和流式推理，兼容贪心和束搜索解码，实验表明能提升上下文短语识别，同时保持低延迟和高吞吐量。
意义：对开发者而言，该框架解决了生产ASR中多用户个性化上下文偏置的实际需求，兼顾流式推理与低开销，有助于提升实时语音识别系统的准确性和效率。
