- 论文公开站arXiv
潘多拉AI模型路由盒：代价高昂的价值估计下的高效分配
Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation
摘要显示，异构AI系统通过路由查询至最有效且成本最低的专家模型，可提升质量与效率，但价值估计需付出代价。该研究将这一权衡形式化为潘多拉盒子问题，在高斯信号模型下推导出闭式信息价值表达式，提出集中式路由策略Pandora's Router和去中心化策略Pandora's Bidder。实验表明，Pandora's Router在匹配穷举估计路由质量的同时，显著减少昂贵估计器的调用次数。
This paper formalizes AI model routing with costly value estimation as Pandora's Box, proposing Pandora's Router and Pandora's Bidder policies that use value-of-information to balance estimation cost and routing quality, demonstrating efficiency in experiments.
意义：为AI系统提供成本感知的路由策略，降低多模型推理开销，对构建高效、经济的LLM服务具有直接指导意义。