SpecDec-Context-Scaling 项目解读:8GB GPU 上投机解码为什么没有加速
本文是对开源项目 SpecDec-Context-Scaling 的中文技术复盘。项目没有停留在“实现一个投机解码 Demo”,而是追问了一个更接近真实部署的问题:在只有 8 GB 显存的消费级 GPU 上,随着上下文从 2K 增长到 8K,投机解码到底什么时候能够比普通自回归解码更快?
实验给出的答案并不讨巧:在冻结的 Qwen2.5-1.5B / 0.5B 配置下,标准投机解码在所有可比任务族上都更慢。但这个负结果并不是项目的终点。通过接受率诊断、全接受 oracle、bonus token、CUDA Graph 和移除草稿模型等一系列受控实验,项目把失败定位到了一个很具体的系统瓶颈:独立 0.5B 草稿模型的前向成本,超过了减少目标模型调用所节省的时间。