- 论文公开站arXiv
学会停止而无需学会停止:自监督置信度训练提升推理效率
Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
摘要显示,该研究提出一种自监督置信度微调方法:让推理模型在自身推理轨迹的中间点预测对答案的置信度,训练仅用600道题,损失函数不含长度、效率或停止目标,推理时也不做置信度引导或早停。在Gemma、Qwen、Nemotron、GPT-OSS等模型及数学、科学、代码基准上,生成token最多减少25%且准确率持平,效果与显式优化短推理的方法相当,并基本保留原有高层推理结构。
意义:为推理模型提效提供新监督信号:无需改推理流程或加长度惩罚,即可在保持准确率的同时显著降低推理成本。
- 论文公开站arXiv
基于适配器的少样本持续学习用于恶意数据包识别
Adapter-Based Few-Shot Continual Learning for Malicious Packet Recognition
摘要显示,针对恶意软件变体持续演化,作者提出一种基于适配器的少样本类增量学习框架,用于恶意数据包识别。该方法使用自监督学习骨干网络,并通过领域特定预训练初始化,在基础会话中采用低秩适配(LoRA)微调,同时冻结核心骨干以保留旧知识,增量会话使用原型分类头。实验表明,该方法在多个数据集上优于现有恶意软件FSCIL基线,达到最先进性能。
意义:该研究为恶意软件检测提供了一种高效的持续学习方案,能适应新威胁而不遗忘旧知识,对网络安全领域的AI模型部署具有实用价值。