deepseek-r1-distill-qwen-14b 这种名字里的 distill 是什么意思？从 Hinton 2015 年的论文讲到 DeepSeek-R1 的 6 个蒸馏模型，一次讲清模型蒸馏的原理，以及挑模型时怎么用上这个知识。
从一次下载说起
上周我在 Ollama 里拉模型，想找个能本地跑的推理模型。列表里有一排 deepseek-r1，后面跟着 qwen、llama 字样，中间夹着 distill：deepseek-r1-distill-qwen-14b。
distill，蒸馏。这个词在模型圈的出现频率，大概只比量化低一点。但真要解释清楚它是什么，不少人会卡壳：模型又不是酒，蒸馏个什么劲。
这篇把蒸馏讲明白。看懂之后，你挑模型会更有底。
这件事 2015 年就有了
深度学习里的蒸馏（Knowledge Distillation），出处是 2015 年的论文《Distilling the Knowledge in a Neural Network》，作者名单里有 Geoffrey Hinton，就是后来拿图灵奖的那位。
论文要解决的问题很实际：想让模型更准，常用办法是训练一堆模型再投票，精度确实上去了，可线上部署又慢又贵，总不能让每个用户请求都过一遍八个大模型。
他们的做法是让一个大模型（或者一队模型）当老师，先在训练数据上给出预测，再训练一个小模型去模仿老师的输出分布。注意，学的不是正确答案。
举个例子。判断一张照片里是猫还是狗，正确答案是猫，这叫硬标签。但老师模型的输出可能是：猫 85%，狗 10%，狐狸 3%，鱼 2%。
这串概率比「猫」一个字有营养得多。它告诉学生：这张图确实像猫，但有点像狗，几乎不像鱼。换一张狗的照片，老师输出狗 80%、猫 15%。两张图的概率分布长得像，这种样本之间的相似关系，硬标签里没有。
信息量大了，小模型学得就快。论文在图像和语音任务上都做了验证，把一堆模型的知识压进了一个模型里。
一个好懂的比喻
把训练数据当成一本习题册。
普通训练是学生对着答案学：这题选 A，这题选 B。学完会做题，但说不出为什么。
蒸馏是老师先做一遍，再把思考过程教给学生：这题选 A，不过 B 也有点像，因为题干里那个条件容易看混；这题和上一题其实是同一个套路。
学生学的不是答案，是判断的形状。
DeepSeek-R1 把它带火了
概念是老概念，让它出圈的是 2025 年初的 DeepSeek-R1。
R1 本体是个 671B 参数的大模型，每次激活 37B（用的 MoE 架构，之前写过）。开源的同时，官方放出了六个蒸馏版：DeepSeek-R1-Distill-Qwen-1.5B、7B、14B、32B，还有基于 Llama 的 8B 和 70B。
做法是拿 R1 生成的推理数据，去微调 Qwen2.5 和 Llama3 这些现成的小模型。名字里的 Distill-Qwen-32B，意思就是：Qwen 的底子，R1 的推理路数。
这个命名规律值得记。以后在模型站看到带 distill 的名字，可以直接翻译成：小模型的底子，大模型的功夫。前半截告诉你它省资源，后半截告诉你它强在哪。
效果如何，官方 README 里有原话：Distill-Qwen-32B 在多项基准测试里超过了 OpenAI 的 o1-mini。一个 32B 的开源模型，赢了专门做推理的闭源小模型。
还有一个发现值得一提。DeepSeek 试过让小模型自己去做强化学习，结果发现小模型自己摸索出来的推理能力，比不上直接跟大模型学。换句话讲，不是所有能力都能靠堆算力在小模型上练出来，有时候一个给力的老师更省事。
两个容易搞混的点
第一，蒸馏不是剪枝，也不是量化。
量化是把训练好的模型压缩存储，参数本身的想法没变，只是每个数占的位数少了，属于搬仓库时打包（GGUF 文件名里的 Q4_K_M 讲的就是它）。蒸馏是学生重新训练了一个模型，学的是老师的判断方式。前者省的是显存，后者省的是参数量和算力。两件事经常落在同一个模型身上：先蒸馏出小模型，再量化成 Q4 让你本地跑得动。
第二，蒸馏版不是缩水版老师。
distill-qwen-14b 并非 R1 的阉割版，它是 Qwen 换了个培养方案。擅长的事（数学、代码、按步骤推理）跟老师像，但知识面、长文本这些吃参数量的本事，还是 14B 的底子。别指望一个 14B 蒸馏模型去干 671B 的活。
现在的模型家族基本都这么玩
Qwen3 的技术报告里有类似表述：借助旗舰模型的知识，大幅减少构建小模型所需的计算资源。你去模型站看，Qwen3 从 0.6B 到 235B 一整排，小尺寸基本都吃过旗舰模型的「小灶」。
这已经是行业常规操作：大模型负责探索，小模型把探索成果装进千家万户的显卡。
挑模型时怎么用上这个知识
三点实在的。
显存就 8G 到 16G，又想要推理能力，distill 系列优先。同样 14B，带 R1 蒸馏的数学和逻辑普遍比裸模型强，具体差距建议拿你自己的任务测一遍。
纯聊天、写文案、翻译这类不吃推理的活，蒸馏版优势不大，普通 instruct 模型就够，有的还更快。如果你走 API，选小模型的账单差距会更明显，之前算过一笔token 的账。
我的测法很土：准备十道自己知道答案的数学题，再加五段需要改写的文案，分别跑一遍，记下正确率和语感。十分钟下来，一个模型几斤几两基本有数。听别人的评测十个，不如自己跑一道题。
蒸馏模型继承的是推理路数，知识面还是小模型的。问它冷门事实，该幻觉还是幻觉，重要信息记得核实。什么时候该上贵的推理模型，之前那篇推理模型怎么选写过。
收个尾
蒸馏听着玄，本质就一句话：让小模型不啃原始数据，直接学大模型提炼过的判断。
对小模型来说，这叫取巧。对你的显卡来说，这是好事：能跑 14B，不代表只配享受 14B 的推理智商。