- 资讯公开站Semiconductor Engineering
HBM与主机内存并发访问提升LLM推理吞吐（佐治亚理工、NVIDIA、斯坦福）
Concurrent HBM And Host Memory Access Improves LLM Inference Throughput (Georgia Tech, Nvidia, Stanford)
摘要显示，佐治亚理工、英伟达研究院与斯坦福大学研究人员发表技术论文《BOOST: Concurrent Access to Host Memory and HBM to Accelerate LLM Inference》。该论文提出BOOST，称其为首个可并发且按比例访问GPU两级内存的运行时系统，能聚合主机内存与HBM带宽以加速LLM推理。
意义：若成立，该运行时系统可突破HBM容量与带宽瓶颈，为LLM推理提供更高吞吐，对GPU内存管理与推理框架开发者有参考价值。