站内快照 · 国内可打开。外网原文可能无法访问。
- 资讯公开站rss_arxiv_cs_ai
面向资源受限边缘设备可靠推理的神经符号路由
Neurosymbolic Routing for Reliable Reasoning on Resource-Constrained Edge Devices
在边缘硬件上运行语言模型可在无网络连接的情况下提供私密、低延迟的推理，但适合此类设备的小模型在计算机本应擅长的任务（如算术、代数和形式逻辑问题）上并不可靠。我们认为这种不可靠性在很大程度上是可以避免的。许多看似需要推理的查询实际上是结构确定性的，可以用快速且精确的符号方法求解。因此，强迫概率模型去近似它们只会牺牲准确性和能耗而收益甚微。我们提出一种神经符号路由器，对每个传入查询进行分类，并将其分派给成本最低的正确求解器：将结构化任务发送给确定性引擎，而将小型语言模型（SLM）保留用于开放式文字题。我们没有手工编写路由逻辑，而是使用 L* 语法推断算法学习一个确定性有限自动机（DFA），以 SLM 作为成员查询预言机，以标注数据作为等价预言机。在 Raspberry Pi 4B（8 GB RAM，无 GPU）上，基于 DeepMind Mathematics、GSM8K 中 100 条未测试提示进行评估，