你有没有想过一个问题：GPT-3 有 1750 亿参数，吞了几乎整个互联网的文本，为什么早期的它还会答非所问、胡编网址？
训练数据里明明有海量礼貌的对话样本，模型却不会好好聊天。这不是玄学，光靠堆数据堆参数解决不了。真正让大模型「变听话」的一步，叫 RLHF，人类反馈强化学习（Reinforcement Learning from Human Feedback）。ChatGPT 之所以像现在这样说话，根源就在这三个词上。
这篇讲清楚四件事：RLHF 解决什么问题、它具体怎么运作、它有什么代价，以及 2026 年的今天它被什么新方法接了班。
一、预训练出来的是「会说话」，不是「会办事」
大模型的训练分两个阶段，很多人对第一阶段有误解。
第一阶段是预训练。用海量文本练「文字接龙」，模型学会了语法、事实、推理的套路，产出的是基座模型（base model）。但基座模型的训练目标只有一个：预测下一个词。它见过网上各种质量的文本，你问它一个问题，它可能续写出一篇标准答案，也可能续写出论坛里抬杠的回帖。它甚至会反问「您是想了解……」，因为它在训练数据里见过太多这种句式。
第二阶段才是重点。论文《Training language models to follow instructions with human feedback》开篇就把这个矛盾点破了：
Making language models bigger does not inherently make them better at following a user's intent.
模型变大，并不会让它更懂你想要什么。「你想要什么」这件事定义模糊，没有标准数据集可以背。怎么把一个「会文字接龙的模型」变成「会办事的助手」，这就是对齐问题（alignment）。
二、RLHF 的三个步骤
RLHF 的流程是 OpenAI 在 2022 年 3 月的 InstructGPT 论文里定型的，至今主流厂商还在用它的变体。分三步。
第一步，监督微调（SFT）。 请标注员写大量高质量的问答示范，拿这些数据去微调基座模型。这一步教会模型「回答问题的样子长什么样」。InstructGPT 论文里，标注员示范数据约 1.3 万条，量级不大，但足够让模型学会「对话助手的腔调」。
第二步，训练奖励模型（Reward Model）。 让模型对同一个问题生成多个回答，标注员对这些回答排序，再拿排序数据训练一个「打分模型」，它学到的是人类的偏好：什么样的回答算好。注意，人只做排序，不打绝对分。人对「哪个更好」的判断远比「给这个打 7 分」靠谱，这是整套方法聪明的地方。
第三步，强化学习优化。 用奖励模型当裁判，用强化学习（常用 PPO 算法）继续调优语言模型。模型生成回答，奖励模型打分，模型朝着高分方向调整。相当于模型每天对着一个「懂你口味」的教练练球。
这套思路也不是 OpenAI 凭空发明的。2017 年 OpenAI 与 DeepMind 等机构合作的前置研究《Deep reinforcement learning from human preferences》，让强化学习智能体通过人类对两段行为的偏好排序来学习，不需要人给出奖励函数。论文 2017 年 6 月 12 日提交到 arXiv，演示任务有 Atari 游戏和模拟机器人运动，人工反馈量不到智能体交互量的 1%。
三、为什么这一步这么值钱
RLHF 的价值，InstructGPT 论文里有个反直觉的数字：1.3B 参数的 InstructGPT 输出，在人类评估中比 175B 参数的 GPT-3 更受偏好，论文原话是，它的参数比对方少 100 倍。
小 100 倍的模型赢了。比的不是知识量，是「懂不懂你」。
理解这个数字，得看预训练和对齐的分工。预训练把人类知识压缩进参数，这决定模型「知道什么」；RLHF 教的是「怎么把知道的东西，用你接受的方式交付」，这决定模型「像不像个靠谱助手」。两件事缺一不可，但 2022 年之前，行业一直在重仓第一件。
Anthropic 在 2022 年 4 月的论文《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》把这件事推进一步，让助手同时满足「有帮助」和「无害」两个目标，这项工作后来发展成 Claude 的训练路线。DeepSeek 在 2025 年 1 月的 R1 论文里走了条更激进的路线，纯强化学习不用人类标注推理轨迹，模型自己悟出反思和验证。这两条路线共享一个前提：对齐是独立于预训练的训练阶段，值得单独砸资源。
四、RLHF 也有代价
RLHF 不是免费午餐，它的软肋有三个。
一是标注成本高。 标注员要写示范、要做排序，都是专业人力。排序的质量直接决定奖励模型的质量，标注员的标准漂移会原样传给模型。
二是可能学会讨好。 模型可能学会「顺着人说」而不是「说实话」。一个把胡编内容包装得很自信、很顺口的回答，奖励模型可能反而给它高分。这是 RLHF 之后的模型仍会一本正经胡说的根源之一。
三是「对齐税」。 为了安全、礼貌而收紧的模型，在部分硬核任务上会变钝。InstructGPT 论文里就提到，RLHF 之后模型在部分 NLP 测试集上的成绩相对基座有下降。用一点能力换「听话」，行业管这个代价叫 alignment tax。
五、2026 年：RLHF 之后是什么
RLHF 最早用在游戏和机器人任务上，后来成了大模型对齐的标配。到 2026 年，它的演进有三个方向。
方向一，DPO 取代 PPO。 Direct Preference Optimization（直接偏好优化）跳过奖励模型和强化学习循环，直接从偏好数据优化模型。工程上简单太多，中小团队现在首选 DPO。
方向二，流程沿用，数据换血。 三步框架没变，但人类反馈的对象从「答案排序」换成「过程排序（process supervision）」，奖励的粒度从结果细化到推理步骤。
方向三，纯 RL 路线（R1 式）。 DeepSeek R1 证明：只要奖励信号足够客观（数学有标准答案、代码能跑测试），可以不用人类排序，模型靠大规模 RL 自己练出推理能力。R1 论文摘要的原话是，推理能力可以「通过纯强化学习激励」，不需要人工标注的推理轨迹，自我反思、验证这类模式会自行涌现。
这三条路线在 2026 年的产线上并存。分工基本定型：预训练买能力，后训练买性格。你手上那个模型说话的腔调、拒答的边界，多半是在 RLHF 及其变体里定下来的。
最后
想看一手资料，arXiv 上搜 2203.02155（InstructGPT）和 1706.03741（2017 年人类偏好 RL 论文）就能下到 PDF。InstructGPT 那篇建议先读引言，那段「1.3B 胜 175B」值得细读；2017 那篇更偏 RL 本行，看摘要即可。
一个朴素的判断：RLHF 把「模型该像什么」从工程师的想象变成了可优化的目标，这个思路不会过时。变的只是人类参与的形式，从写示范、做排序，到介入得越来越少。什么时候人类反馈被完全拿掉、模型还能对齐，那才是这条路线的终点。
参考来源：
- Ouyang et al., Training language models to follow instructions with human feedback, arXiv:2203.02155, 2022
- Christiano et al., Deep reinforcement learning from human preferences, arXiv:1706.03741, 2017
- Bai et al., Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback, arXiv:2204.05862, 2022
- DeepSeek-AI, Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, arXiv:2501.12948, 2025