站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
用于高效端侧LLM生成式个性化的LoRA生成超网络
LoRA-generating hypernetworks for efficient on-device LLM generative personalization
摘要显示，该论文提出一种设备端LLM个性化方法：训练超网络将用户上下文token映射为适合该用户的LoRA，部署后在设备端合成个性化LoRA。该方法结合了上下文学习（ICL）与参数高效微调（PEFT）的优点：设备端阶段仅需前向传播，计算可行；同时通过权重修改基础模型，避免扩展输入序列带来的延迟增加，尤其适合移动设备场景。
意义：为移动端LLM个性化提供无需反向传播的可行路径，降低设备端算力与延迟门槛，对端侧AI应用开发有参考价值。