Data Science / NLP / LLM Applications
大四学生，正在系统整理 Python 工程、数据科学、机器学习、NLP/LLM 应用、 数学笔记和项目复盘。这里既是学习档案，也是逐步成型的技术作品集。
把课程项目、技术笔记和实验记录整理成长期可回看的作品体系。
从传统机器学习 baseline 到 DistilBERT + LoRA，再到 XGBoost hybrid 的完整情感分类项目。
DistilBERT / LoRA / XGBoost / Macro F1Python、C++、算法题、项目结构和可复现脚本。
02Math for ML线性代数、SVD、张量分解、优化和模型背后的数学。
03Data SystemsPandas、Dask、Spark、特征工程和大数据分析。
04Portfolio Output把项目文章、GitHub、实验结果整理成可面试讲述的作品。
投机解码教程：从概率保持、KV Cache 回滚到性能盈亏平衡
投机解码（Speculative Decoding）常被概括为一句话：小模型先猜，大模型一次验证多个 token。 这句话说明了直觉，却没有回答实现中最关键的四个问题：为什么一次前向能够验证多个候选？拒绝候选后怎样保证采样分布不变？KV Cache 应该回滚到哪里？为什么接受率很高仍然可能更慢？
本文从普通自回归解码出发，推导 greedy 与 sampling 两类投机解码，给出 logits 对齐、cache 修复、期望推进长度和成本模型，并结合 SpecDec-Context-Scaling 的实验说明如何判断一个投机解码系统是否真的赚到了时间。
SpecDec-Context-Scaling 项目解读：8GB GPU 上投机解码为什么没有加速
本文是对开源项目 SpecDec-Context-Scaling 的中文技术复盘。项目没有停留在“实现一个投机解码 Demo”，而是追问了一个更接近真实部署的问题：在只有 8 GB 显存的消费级 GPU 上，随着上下文从 2K 增长到 8K，投机解码到底什么时候能够比普通自回归解码更快？
实验给出的答案并不讨巧：在冻结的 Qwen2.5-1.5B / 0.5B 配置下，标准投机解码在所有可比任务族上都更慢。但这个负结果并不是项目的终点。通过接受率诊断、全接受 oracle、bonus token、CUDA Graph 和移除草稿模型等一系列受控实验，项目把失败定位到了一个很具体的系统瓶颈：独立 0.5B 草稿模型的前向成本，超过了减少目标模型调用所节省的时间。