- 论文公开站arXiv
基于物理约束深度学习的非接触式三轴体震信号血压监测模型
Physics-Constrained Deep Learning Model for Contactless Blood Pressure Monitoring from Triaxial Bodyseismography
本文提出Phy-BP框架,用于基于三轴体震信号(BSG)的非接触式血压监测。该框架包含自适应质量控制算法,筛选富含心源性成分的BSG段,并建立物理模型描述体-床系统中的三维波传播,嵌入深度学习模型以对齐多轴特征。在21名受试者162小时医院数据集上,Phy-BP能动态过滤低质量测量,并通过物理一致性约束提升模型鲁棒性,尤其在训练样本有限时表现良好。
意义:该研究将物理模型与深度学习结合,提升非接触式血压监测的鲁棒性和泛化能力,对可穿戴健康监测和AI医疗应用具有重要意义。
- 论文公开站arXiv
ReWorld:具备长时记忆的交互式世界模型
ReWorld: An Interactive World Model with Long-Horizon Memory
摘要显示,ReWorld是一种交互式世界模型,通过混合注意力窗口和随机头路由,在训练时分离控制与记忆,推理时使用有界KV缓存和姿态索引地标库,实现长时记忆下的实时视频生成。数据引擎统一多源数据尺度,并通过LoRA蒸馏实现四步采样,在704x1280分辨率下实时生成,在动作跟随、长时记忆和视频质量方面优于六种现有模型。
意义:ReWorld解决了交互式世界模型中控制与记忆的结构性矛盾,实现了长时记忆下的实时高保真视频生成,对虚拟现实、游戏和机器人仿真等应用具有重要意义。
- 论文公开站arXiv
BPCO:一种稳定高效的评论家训练方法
How to Train a Critic Stably and Efficiently
摘要显示,基于组的强化学习方法(如GRPO)通过采样多个响应避免训练评论家,但标准评论家训练常不稳定。研究者提出BPCO配方,结合DPPO、奖励范围限定的值预测、蒙特卡洛值目标、未归一化策略优势及长度自适应GAE,并可在训练时向评论家提供奖励定义信息。在数学推理任务中,BPCO一致提升强评论家基线,并匹配或超越组基线,同时每个提示仅采样一个响应。
意义:为LLM强化学习提供稳定高效的评论家训练方案,减少采样成本,提升训练可靠性,对在线RL算法设计有重要参考价值。
- 开源项目公开站GitHub
spaCy:Python工业级自然语言处理库
explosion/spaCy — 💫 Industrial-strength Natural Language Processing (NLP) in Python
spaCy是一个用于Python的工业级自然语言处理库,提供高效且易于使用的API,支持多种语言,适用于生产环境。它在GitHub上拥有超过33,000颗星,表明其广泛的使用和社区支持。该库旨在处理大规模文本数据,提供预训练模型和管道组件,用于词性标注、命名实体识别、依存句法分析等任务。
意义:spaCy是NLP领域的主流工具,为开发者提供高效、可扩展的文本处理能力,是构建生产级NLP应用的重要基础设施。
- 开源项目公开站GitHub
从零开始用PyTorch实现ChatGPT式大语言模型的逐步教程
rasbt/LLMs-from-scratch — Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
该GitHub仓库提供从零开始用PyTorch实现ChatGPT式大语言模型的详细教程。内容涵盖数据准备、模型架构、训练与微调等步骤,旨在帮助开发者深入理解LLM内部机制。仓库已获得超过10万星标,表明其受欢迎程度和实用性。
意义:为开发者提供从零构建LLM的实战指南,有助于深入理解Transformer架构和训练细节,是学习和研究大模型的重要资源。
- 论文公开站arXiv
重新思考测试时训练的表示能力与效率:E²-TTT 方法
Rethinking Expressivity and Efficiency in Test-Time Training
摘要介绍了一种名为 E²-TTT 的新方法,旨在平衡测试时训练(TTT)中逐 token 更新动态的表示能力与分块近似的硬件效率。该方法在标准近似下推导出闭式状态转移,精确复现逐 token 循环的块端快速权重和动量状态,实现完全并行化的块级训练,同时保留先前分块方法丢弃的时间结构。通过在最多 1.3B 参数模型上的验证,E²-TTT 在语言建模上与现有 TTT 和混合注意力基线相当,但在上下文检索上表现更优,尤其在长度外推上优势显著,…
意义:E²-TTT 为长上下文处理提供了兼顾表示能力与硬件效率的解决方案,有望提升语言模型在长序列任务中的性能,并推动 TTT 方法的实际应用。
- 论文公开站arXiv
解剖信息神经网络:在损失与架构中编码解剖先验,含导丝诱发主动脉髂动脉变形的SE(3)公式
Anatomy-Informed Neural Networks: Encoding Anatomic Priors in Loss and Architecture, with an SE(3) Formulation of Guidewire-Induced Aortoiliac Deformation
摘要介绍了解剖信息神经网络(AINN),将软解剖先验作为损失中的惩罚项(如分支惩罚),硬解剖先验(如血管连续性)内置于架构和状态表示中,使无效预测在构造上不可能。该方法应用于临床案例:导丝介入时主动脉髂动脉树的变形。通过将血管中心线和导丝路径提升至SE(3)中的曲线,耦合Cosserat杆与血管,使用Wasserstein-2最优传输损失,由2D血管造影训练3D预测。
意义:该工作为医学影像与手术导航提供新范式,利用解剖先验提升模型泛化性,对自主血管内介入导航有重要意义。
- 论文公开站arXiv
PerturbRx:学习治疗条件下的潜在状态转换以预测患者药物反应
PerturbRx: Learning Treatment-Conditioned Latent Transitions for Patient Drug Response Prediction
摘要显示,PerturbRx是一个治疗条件下的表示学习框架,用于预测患者级别的癌症治疗反应。它从上下文匹配但细胞未配对的对照和处理的单细胞群体中训练药物和剂量条件的转换预测器,然后冻结并迁移到预处理患者概况,无需治疗后测量。在TCGA和患者来源异种移植基准上,PerturbRx取得了最强的综合预测性能。
意义:该框架利用扰动预训练的潜在转换作为特征,无需治疗后数据即可预测反应,为精准肿瘤学中的药物反应预测提供了新思路。
- 主题公开站Google News · 大模型
大模型成本控制:从训练到推理的省钱策略
摘要显示,大模型使用费用高昂,尤其API调用。文章分享成本优化技巧,如缓存、模型蒸馏、混合使用等,帮助个人和企业降低开销。
意义:为开发者和企业提供实用的成本优化思路,有助于降低AI应用门槛,提升资源利用效率。
- 论文公开站arXiv
注入、对齐、恢复:面向无检索文档知识内化的分阶段后训练框架
Inject, Align, Recover: Staged Post-Training for Retrieval-Free Document Knowledge Internalization
大型语言模型在推理时无法检索源文档时,往往难以回答关于特定文档集的问题。为此,本文提出IAR(注入、对齐、恢复)三阶段后训练框架,将固定语料转化为可用的参数化知识,实现无检索问答。注入阶段采用续写、改写和指令条件重建目标;对齐阶段使用仅答案的问答监督;恢复阶段合并领域适配模型与基础指令模型以恢复通用能力。实验显示,在多个模型家族和数据集上,IAR在领域问答准确率上平均提升3.6个百分点,通用性能平均提升12.1个百分点。
意义:该框架为无需检索的文档知识内化提供了新方法,提升领域问答准确率的同时保持通用能力,对构建高效、实用的领域专用模型具有重要意义。
- 论文公开站arXiv
幻影增益:对照实测零基准审计自我改进
Phantom Gains: Auditing Self-Improvement Against a Measured Null
摘要显示,评估语言模型自我改进时,追踪个体问题得失易受测量伪影影响。对Qwen3-8B进行三轮LoRA自训练,与冻结对照比较,发现七种测量失败,每种在无对照时都会反转报告结论。贪心解码产生的记录在未训练模型上制造能力变化,扩展统计量错误归因。提出逐问题精确检验,在FDR控制下未检测到任何保留复制上的效应。外部蒸馏改善基础模型难及问题,而三种自训练未现此效,回归分析拒绝不对称性源于蒸馏总体增益更大(p<10^-8)。
意义:为AI开发者提供评估模型自我改进的严谨审计方法,避免测量伪影导致虚假结论,对模型迭代和对比至关重要。
- 论文公开站arXiv
MidTool:面向智能体工具使用的中期训练数据合成
MidTool: Mid-training Data Synthesis for Agentic Tool Use
摘要显示,MidTool是一个用于智能体工具使用中期训练的开源语料构建流程,整合大规模网页、PDF和代码数据,并利用真实工具API、MCP技能和文档相关工作流合成监督信号。该流程旨在教会模型识别工具功能、从上下文获取参数、组合工具调用工作流并从不完整信息中恢复。在Qwen3-4B-Base和Qwen3-8B-Base上进行中期训练,并配合监督微调和强化学习,MidTool-Mix在BFCL、tau2-Bench和MCP Universe…
意义:为通用工具使用提供专门的中期训练方法,提升模型在真实工具调用场景中的能力,对智能体开发具有重要意义。
- 论文公开站arXiv
可解释的Transformer模型用于结构化电子健康记录上的临床预测任务
Explainable Transformer Models for Clinical Prediction Tasks on Structured Electronic Health Records
摘要显示,研究者提出BERT-LER模型,一种基于BERT架构的模型,用于编码电子健康记录(EHR)时间线。该模型在包含7500万患者的去标识化EHR数据集上预训练和微调,将实验室检测结果编码为离散令牌,并通过基于百分位的分箱保留分级信息,结合集成梯度方法提供令牌级归因。在EHRShot基准和哮喘严重程度进展研究中,BERT-LER在预测性能上与公开基准模型竞争,在实验室相关任务上常超越它们,且归因与临床已知风险因素一致。
意义:该研究将实验室值表示与可解释性统一于一个框架,为EHR基础模型提供方法论补充,有助于临床预测的可靠性和临床采纳。
- 论文公开站arXiv
AI4AI-Bench:面向递归自我改进的算法设计LLM智能体基准测试
AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
AI4AI-Bench包含10个冻结的研究代码库,覆盖10种训练算法族。智能体需在4小时内重写训练算法,随后重新运行最多12小时,由固定评估器评分。基准将指标统一映射,0表示无信息模型,0.1为原始算法,1.0为任务最优。在6个系统的29种配置下,平均得分为0.166,最佳系统达0.250,表明现有智能体在算法设计上仍有很大提升空间。
意义:该基准首次隔离评估LLM智能体的算法设计能力,对递归自我改进可行性研究至关重要,为AI自我提升提供量化测试平台。
- 论文公开站arXiv
TCP_α:用于可靠音乐信息检索的边际控制置信度估计
$TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval
深度神经网络常过度自信,即使预测错误也给出高置信度。后验置信度估计通过训练轻量辅助头解决此问题,但现有目标存在歧义。本文提出TCP_α,一种新置信度目标,通过引入边际控制惩罚来分离正确与错误预测的置信度,并证明其分离边际与类别数无关且随惩罚参数单调增加。研究针对不平衡回归的训练策略,并在拉格识别等任务上验证有效性。
意义:为音乐信息检索等任务提供可靠的置信度估计,有助于开发者构建更可信的AI系统,减少因过度自信导致的错误决策。
- 开源项目公开站GitHub
minimind:2小时从零训练64M参数大语言模型
jingyaogong/minimind — 🧠 Train a 64M-parameter LLM from scratch in just 2h!
GitHub项目minimind展示了从零开始训练一个仅64M参数的大语言模型,训练时间仅需2小时。该项目提供了完整的训练流程和代码,旨在降低LLM训练门槛,让开发者能够快速上手并理解大模型的基本原理。项目在GitHub上已获得超过5万星标。
意义:对开发者而言,降低了训练大模型的门槛,有助于快速理解LLM训练流程;对AI行业,展示了轻量化模型的高效训练可能性。
- 开源项目公开站GitHub
Hugging Face Transformers:支持文本、视觉、音频及多模态模型的先进机器学习框架
huggingface/transformers — 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
摘要显示,Hugging Face Transformers是一个用于定义最先进机器学习模型的框架,涵盖文本、视觉、音频及多模态模型,支持推理和训练。该项目在GitHub上拥有超过164k星标,表明其广泛的使用和社区认可。
意义:作为AI模型开发的核心工具,Transformers库为开发者提供了统一的模型定义和训练接口,加速了多模态模型的部署,是AI工程实践的重要基础设施。
- 开源项目公开站GitHub
TensorFlow:面向所有人的开源机器学习框架
tensorflow/tensorflow — An Open Source Machine Learning Framework for Everyone
TensorFlow是一个开源的机器学习框架,旨在为所有人提供易用的工具。该仓库拥有超过19万星标,表明其广泛认可和社区支持。它支持从研究到生产的各类机器学习任务,包括深度学习模型的构建、训练和部署。
意义:TensorFlow是AI领域的基础工具,广泛用于研究和生产,对开发者而言是必备技能,其生态和社区影响力巨大。