RichardF · Hong Kong

你好,我是 Richard。

我现在是大四学生。平时写代码、读论文,也把课程里真正弄懂的东西记下来。 这里主要放学习笔记、项目复盘,以及一些还在慢慢想清楚的问题。

最近在关注 LLM 推理、检索系统和数据科学,也会继续整理数学与算法基础。

拉斐尔《雅典学院》局部
Raphael, The School of Athens
最近写下的查看全部

COMP4431 人工智能:从搜索、博弈、CSP 到机器学习与 Agent

人工智能不等于神经网络,更不等于调用一个大模型 API。一个完整的 AI 系统至少需要回答:怎样表示状态,怎样搜索行动序列,怎样在约束下求解,怎样面对对手,怎样从数据中学习,以及怎样在环境反馈中长期决策。

COMP4431 Artificial Intelligence 覆盖的是这条经典主线。本文把课程内容整理为一套连贯框架,并在最后说明这些基础怎样连接到今天的 Agent、深度学习与强化学习系统。

阅读更多

AMA4650 时间序列与预测:从平稳性、指数平滑到 ARIMA 与 GARCH

普通监督学习常把样本当作可以交换的独立观测;时间序列不能这样处理。昨天的信息会进入今天,趋势与季节性会让均值变化,金融数据还常出现波动聚集。预测的关键不是把曲线拟合得更复杂,而是把时间依赖写进模型,并用只来自过去的信息评价未来。

这篇文章按照 AMA4650 Forecasting and Applied Time Series Analysis 的主线,串联平稳性、趋势与季节性、指数平滑、ARMA/ARIMA、模型识别、预测区间和 GARCH。

阅读更多

AMA4602 高维数据分析:从多元正态、PCA 到正则化与 FDR

当变量数从一个变成几百、几千甚至超过样本量时,困难不只是“矩阵更大”。样本协方差会不稳定,欧氏距离会失去区分度,普通最小二乘可能没有唯一解,同时做大量检验会产生一批看似显著的假阳性。

AMA4602 High Dimensional Data Analysis 的价值,是把多元统计和现代高维方法接在一起:先用多元正态分布、判别分析、PCA、因子分析和 CCA 建立几何直觉,再进入 ridge、LASSO、高维回归与 FDR 控制。

阅读更多

AMA2233 数据分析与可视化:从概率模拟、回归到图与降维

数据可视化并不是在分析结束以后“画一张好看的图”。它更重要的作用,是把概率、模型和结构变成可以检查的证据:大数定律是否开始显现,时间序列是否有趋势,回归残差是否暴露了模型缺陷,网络中哪些节点真正重要,高维数据能否投影到低维空间而不丢掉主要信息。

这篇文章根据 AMA2233 Data Analytics and Visualization 的课程讲义整理,主线是:

1
2
3
可视化原则 -> 大数定律与中心极限定理 -> Monte Carlo
-> 时间序列 -> 线性/逻辑回归 -> 聚类
-> PageRank 与图划分 -> PCA 降维

目标不是记住十几种图表,而是学会从问题出发选择表示方法,并知道图背后的统计量和算法在计算什么。

阅读更多

投机解码教程:从概率保持、KV Cache 回滚到性能盈亏平衡

投机解码(Speculative Decoding)常被概括为一句话:小模型先猜,大模型一次验证多个 token。 这句话说明了直觉,却没有回答实现中最关键的四个问题:为什么一次前向能够验证多个候选?拒绝候选后怎样保证采样分布不变?KV Cache 应该回滚到哪里?为什么接受率很高仍然可能更慢?

本文从普通自回归解码出发,推导 greedy 与 sampling 两类投机解码,给出 logits 对齐、cache 修复、期望推进长度和成本模型,并结合 SpecDec-Context-Scaling 的实验说明如何判断一个投机解码系统是否真的赚到了时间。

阅读更多

SpecDec-Context-Scaling 项目解读:8GB GPU 上投机解码为什么没有加速

本文是对开源项目 SpecDec-Context-Scaling 的中文技术复盘。项目没有停留在“实现一个投机解码 Demo”,而是追问了一个更接近真实部署的问题:在只有 8 GB 显存的消费级 GPU 上,随着上下文从 2K 增长到 8K,投机解码到底什么时候能够比普通自回归解码更快?

实验给出的答案并不讨巧:在冻结的 Qwen2.5-1.5B / 0.5B 配置下,标准投机解码在所有可比任务族上都更慢。但这个负结果并不是项目的终点。通过接受率诊断、全接受 oracle、bonus token、CUDA Graph 和移除草稿模型等一系列受控实验,项目把失败定位到了一个很具体的系统瓶颈:独立 0.5B 草稿模型的前向成本,超过了减少目标模型调用所节省的时间。

阅读更多

AMA2634 统计导论:从描述统计、概率分布到统计推断与线性回归

统计学不是一份需要背诵的公式清单。它真正研究的是:面对带有随机性、噪声和有限样本的数据,我们怎样描述现象、量化不确定性,并对总体作出有边界的判断。

本文根据 AMA2634 Introduction to Statistics 的 10 讲课程资料整理,主线是:

1
2
3
4
5
6
7
8
9
数据与抽样
-> 描述统计
-> 概率模型
-> 随机变量与分布
-> 抽样分布和中心极限定理
-> 参数估计
-> 假设检验
-> 两总体比较
-> 相关与回归

读完以后,不仅应该会代公式,还应该能判断:为什么采用这个统计量、公式依赖什么假设、结论可以说到什么程度,以及什么时候不能使用它。

阅读更多

从规则检索到 GraphRAG:贵州统计指标系统的架构、混合召回与工程优化

本文是 Guizhou-GraphRAG 的技术复盘。项目面向贵州统计指标检索:输入一句口语问题,系统需要从 2000 多条结构相似的指标中找出正确实体,并返回定义、类别、匹配证据和图谱关系。

这里最难的并不是接入 LLM,而是同时处理三类冲突:召回率与精确率的冲突、语义相似与统计口径的冲突、模型能力与结果可控性的冲突。 项目最终采用“指标知识图谱 + 多路召回 + 规则排序 + 可选模型精排”的架构,并通过单字保护、候选门控、动态权重、向量缓存和服务降级等工程优化建立可用闭环。

阅读更多

COMP2013 数据结构与算法教程:从复杂度分析、排序、堆、哈希、搜索树到 DP、贪心与图

这篇文章根据 COMP2013 Data Structures and Algorithms 的课程资料整理。它不是单纯把 lecture 列出来,而是试图回答一个更重要的问题:

当我们说“学数据结构与算法”时,到底是在训练什么能力?

我的理解是三件事。第一,能判断一个程序会不会随着输入规模变大而崩掉,也就是复杂度分析。第二,能选择合适的数据组织方式,让查询、插入、删除、排序这些操作不至于低效。第三,能把一个问题拆成可以证明正确的算法框架,比如分治、动态规划、贪心和图搜索。

阅读更多

数据库系统教程:从 ER 建模、关系代数、SQL 到事务、索引与恢复

这篇文章根据数据库系统课程资料整理,目标不是把课件逐页翻译,而是把数据库这门课真正的主线讲清楚:

现实业务 -> ER 建模 -> 关系模型 -> 关系代数 -> SQL 查询 -> 存储、索引、优化 -> 事务、并发、恢复

如果只背概念,数据库很容易学成一堆名词:entity、relationship、primary key、foreign key、selection、projection、join、normalization、B+ tree、ACID、serializability、logging。更好的学习方式是把它们看成同一个问题的不同层次:如何把现实世界中的数据,组织成可以被可靠查询、快速访问、正确更新、崩溃后还能恢复的系统。

阅读更多
Click to play