RichardF · Hong Kong

你好,我是 Richard。

我现在是大四学生。平时写代码、读论文,也把课程里真正弄懂的东西记下来。 这里主要放学习笔记、项目复盘,以及一些还在慢慢想清楚的问题。

最近在关注 LLM 推理、检索系统和数据科学,也会继续整理数学与算法基础。

拉斐尔《雅典学院》局部
Raphael, The School of Athens
交互课程时间序列与预测AMA4650 · 从平稳性到 ARCH 与 GARCH
最近写下的查看全部

SpecDec-Context-Scaling 项目解读:8GB GPU 上投机解码为什么没有加速

本文是对开源项目 SpecDec-Context-Scaling 的中文技术复盘。项目没有停留在“实现一个投机解码 Demo”,而是追问了一个更接近真实部署的问题:在只有 8 GB 显存的消费级 GPU 上,随着上下文从 2K 增长到 8K,投机解码到底什么时候能够比普通自回归解码更快?

实验给出的答案并不讨巧:在冻结的 Qwen2.5-1.5B / 0.5B 配置下,标准投机解码在所有可比任务族上都更慢。但这个负结果并不是项目的终点。通过接受率诊断、全接受 oracle、bonus token、CUDA Graph 和移除草稿模型等一系列受控实验,项目把失败定位到了一个很具体的系统瓶颈:独立 0.5B 草稿模型的前向成本,超过了减少目标模型调用所节省的时间。

阅读更多
Click to play