vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于AMD MI300X和MI355X GPU的测试，指出吞吐量高度依赖于草稿方法、提案长度、模型家族、工作负载以及token接受率。文中详细介绍了MTP、EAGLE-3、DFlash和DSpark等主流方案的配置与调优策略，为开发者在AMD硬件上部署高性能大模型推理提供了参考。这一工作有助于推动异构硬件生态下的推理优化，降低大模型服务成本。