一个接龙,
拆完七十年 AI。
不背术语,只拆配方。六个原语 × 三个旋钮,配出从深蓝到 Sora 的全部产品——其中七份配方,你现在就能在这一页上亲手造出最小版本,还能跟真 LLM 同屏对拧。
理解 = 能复现
维柯说「真理即造物」,费曼说「造不出来,就没真懂」。这门课把这句话变成三个动作,循环使用:
虚拟构建
在脑内从零重造一个产品,只保留承重决策——「它的命门是哪三个选择」。产出不是结论,是一张可证伪的假设清单。零成本,所以能扫一百个产品;也零反馈,所以必须进入下一步。
最小真实构建
把配方缩到浏览器里能跑的最小版本,让假设被真实反馈打脸。本页藏了四台:一个语言模型、一个深蓝、一个扩散模型、一本缓存账单——原理与真品一字不差,只差算力若干个数量级。
齿感交互
亲手拧温度、关剪枝、拖显影、拉账单。抽象概念获得阻尼与回弹,才会沉淀成直觉。每个实验台都标了「齿感点」:照着做,注意手上的感觉。
假设(虚) → 校准(实) → 直觉(触) → 更好的假设 → ……
六个原语,一副全家桶
全部 AI 史 = 原语的发明 × 原语的组合 × 某个原语突然吃到足够的数据与算力。点击任一原语,可在编年史里筛出所有用到它的配方。
外加三个旋钮(接龙专属)
2019 年以后的语言线,原语再没变过——变的只是三个旋钮怎么拧。任何新产品出现,先问它拧的是哪个。
语料 → RLHF → RLVR
prompt → 检索 → 缓存 → 压缩
展示 → 执行 → while 循环
七份配方 + 一台真品,现在开造
每台实验的原理与真实产品完全同构。造完一台,你就拥有了对应产品族的「假设生成器」。造完 nano 接龙机,还能跟经网关接入的真 LLM 同屏对拧。
接龙机 · GPT-0.001
✓ 已触摸你在造:字符级 n-gram 语言模型——GPT 的曾曾祖父。原语与 GPT-4 完全相同:给定上文,按概率吐下一个字。差别只在语料(×10⁸)与上文窗口(2 字 vs 20 万字)。
下面是模型此刻的「候选下一字」及概率——点任意一个,你就替模型做了一次采样。这张概率条,就是每个 LLM 每 20 毫秒在做的全部事情。
真·接龙机 · nano 对 真品
✓ 已触摸同一段上文、同一个温度、同一套概率条:左边是你在实验一亲手造的 nano,右边是经网关接入的真 LLM——它的概率条来自真实的 logprobs 前 8 候选,温度用与 nano 完全相同的公式 p^(1/T) 在服务端重整。同一张概率条,差一亿倍语料。
右侧偶尔出现灰色的「⟨½字⟩」:真品的词表(BPE)会把一个汉字切成两个字节片段,也常把好几个字合成一个词元——什么算一个字,由词表说了算。你正在直视律一的前线。
翻树台 · 深蓝-nano
✓ 已触摸你在造:minimax 完全搜索 + α-β 剪枝。深蓝配方 = 翻树 + 人写打分,井字棋是它的 10⁴⁷ 分之一缩小版——原理一字不差,机器永远不会输给你。
显影台 · 扩散-nano
✓ 已触摸你在造:去噪过程的手动版。扩散模型训练时学「退一步噪声」,生成时从纯噪声一步步接回清晰——清晰度轴上的接龙。这里由你的手代替神经网络,亲自当一次「退一步」。
真实扩散模型里,不同噪声底片会显影出不同的图——因为「退一步」是神经网络猜出来的,不是抄底片。这台 nano 只演示轨迹,不演示想象力;想象力在未来的「补充构建」里。
账单台 · 前缀缓存算盘
✓ 已触摸你在造:agent 经济学的账本。接龙者读上文前要逐字做笔记(KV);相同前缀 ⇒ 笔记逐字节相同 ⇒ 存档免重算。它不改变接什么,只改变算不算——却决定了 agent 产品存不存在。
假设持续对话、全部命中缓存;示例单价 $3/百万 input token,写入 1.25×,读取 0.1×。成本没有消失,换成了四样东西:仓储租金、搬运带宽、调度复杂度、显存机会成本。
感知机训练台 · 1958
✓ 已触摸你在造:第一个能学的打分器。ŷ = step(w₁x₁ + w₂x₂ + b),判错就把权重朝样本拨一格:w += lr·(y−ŷ)·x。六原语里的「学习」本身,在这里第一次可见——连同它 1969 年撞上的那堵墙。
偏好炼金炉 · RLHF
✓ 已触摸你在造:RLHF 的全链路缩影。实验一的接龙机生成两段短句,你点更喜欢的那段;点选被炼成一个线性奖励模型 R(s)=Σ w[c]·count(s,c),再以 p(c) ∝ count·e^{β·w[c]} 反过来改变接龙的口味——整个循环就发生在你手里,零网络请求。
对抗擂台 · GAN
✓ 已触摸你在造:一场真实的军备竞赛。真分布 N(2, 0.5);造假者 G(1-8-1 网络)把均匀噪声捏成数,鉴定师 D(1-8-1 网络)判真假——两张网的前向与反向传播全部手写,就在这一页里逐步互卷。没有人教 G「2 在哪」,鉴定师的打分就是全部地图。
如实标注:训练用最朴素的 SGD,live 曲线天然振荡;「交付均值」读的是权重滑动平均(EMA)生成器——StyleGAN 们交付推理时的同款惯例。
七十年编年史,70 份配方
本表更新至 2026-07 · 暂章条目逐月复审每条 = 年份 + 配方(原语组合)+ 印章分级。点击条目展开细节,展开里有「读本详解」直达中英双语深读版的对应小节;点击配方里的原语章,按原语筛选。分级本就该被争论——每一次推翻,都是一次新的构建。
六条律,替你记住整张图
接龙吃掉一切序列
词、棋步、采样点、图块、时空块、清晰度档位……原语从未变,变的只是「什么算一个字」。所以各模态的决战,其实都是词表(tokenizer)之战。
搜索的内化史
三代人机对弈,是同一件事被逐步收进模型体内:
外挂 → 混合 → 内功。
自产数据的轮回
TD-Gammon(1992)→ AlphaGo Zero(2017)→ R1-Zero(2025):奖励可机器判定处,数据无限自产。反之,只能人判的地方(审美、对话)数据永远稀缺——这就是推理模型先攻数学与代码的结构性原因。
壹级的构成
要么新学习原语(反向传播),要么新引擎(Transformer),要么新 scaling 轴(GPT-3 的训练轴、o1 的推理轴),要么点火时刻(AlexNet、AlphaGo)。纯组合永远到不了技术壹级——但能到产品壹级(ChatGPT)。
技术分 ≠ 产品分
ChatGPT 技肆/产壹,深蓝 技叁/文壹,Stable Diffusion 技叁/生态贰。创业机会密集分布在「技叁肆 × 产壹贰」的象限——卖铲子的数学基础,就是这个级差。
基准是隐形贰级
ImageNet → HumanEval → SWE-bench:定义考题者定义进化。造基准比造模型便宜三个数量级,杠杆却不小——这是全表里最适合 DIY 的物种。
下一批实验台,砖已备好
每台对应一个尚未上手的原语或旋钮。占位即承诺:齿感清单先立在这里。
注意力显微镜
逐字看 Q 如何对暗号、按匹配度抄走谁的 V——翻开接龙者的笔记本(KV)。
报名极简 AI 课（限 10 席）
留下联系方式和你想了解的问题。我们会尽快联系你，并一并回答问题；后续进度和人工回复可以回到这里查询。