上个月写过一篇《AI 微调是什么》，后台问得最多的一句话是：我没有几万块的显卡，是不是就别想了？我当时也这么以为。直到前两周认真把 LoRA 这条路走了一遍，从装环境到训出自己的模型，前后大概一个晚上。这篇把踩过的坑和真实感受记下来，你也想给大模型做个自己的版本的话，照着走能省不少时间。
LoRA 到底动了什么
先把原理说清楚，因为它简单到不像话。
训练大模型烧显存，烧在哪儿？主要烧在「更新参数」上。一个 7B 模型有 70 亿个参数，全量微调意味着每个参数都要动，梯度和优化器状态把显存吃光。
LoRA 的思路是：原模型一个参数都不动，在旁边挂一对很小的矩阵，只训练这一对。数学上是把权重变化拆成两个低秩矩阵的乘积，方法出自 2021 年 6 月微软 Edward Hu 等人的论文，题目就叫 LoRA（arXiv 编号 2106.09685）。
实际效果：可训练参数通常不到原模型的 1%。训练完拿到的产物也不是完整模型，是一块几十到几百 MB 的「补丁」。用的时候把补丁挂回去，不想要了随时摘掉，原模型毫发无损。
这也是它和「下载别人微调好的模型」的本质区别：补丁是用你自己的数据练出来的，说话风格、输出格式、干活习惯，都按你的来。
2026 年做这件事有多容易
工具早就成熟了。我用的是 LLaMA-Factory，一个持续更新的开源项目，Amazon、NVIDIA、阿里云的官方文档都拿它做微调案例。它把 100 多种模型和 LoRA、QLoRA 这些训练方法打包在一起，一条命令就能开训。
官方文档给过一张显存参考表，按 7B 模型、批大小 1 算：普通 LoRA 大约 16GB 显存；换成 QLoRA（把模型量化到 4-bit 再挂 LoRA 补丁）只要 6GB 左右。6GB 是什么概念？一块 8GB 显存的显卡就能摸到门槛，二手 RTX 3060 这类更是绰绰有余。
没有显卡也有办法。官方提供了免费的 Colab 笔记本，用 Google 送的 T4（16GB）就能把整个流程跑通。另外 Unsloth 这个项目做了加速补丁，LLaMA-Factory 里一个参数就能启用，官方测试里 LoRA 训练速度有明显提升。今年它还出了桌面版，装上就能练，比以前又省了一步。
我的第一次训练，实际就三步
环境装好后流程很短。以 Qwen3 4B 为例（官方示例用的就是它，对新手友好）。
第一步，装 LLaMA-Factory：
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .嫌装环境麻烦，官方也有现成的 Docker 镜像，拉下来就能用。
第二步，准备数据集。Alpaca 格式的 json，每条三段：instruction 写你要它干什么，input 是可选的补充信息，output 放标准答案。数据写好后到 data/dataset_info.json 里注册一个名字，训练配置里引用这个名字就行。
第三步，开训：
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml官方示例配置里有几个参数值得认识一下：finetuning_type 设为 lora；lora_rank 8，可以理解成补丁的「宽度」，越大越能学复杂的东西，也越容易过拟合；learning_rate 1.0e-4，训 3 轮。想换模型或数据，改 model_name_or_path 和 dataset 两行就够了。
训完先验证再交付：
llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml聊几句，满意了再用 export 命令把补丁合并导出成完整模型。全程不想碰命令行的话，跑 llamafactory-cli webui 会开一个网页界面，鼠标点着配参数。我第一次试跑就是用它确认流程的，确认没问题才回头看配置文件。
三个真实感受，也算坑
一、数据比参数重要。我一开始纠结 rank 设 8 还是 16，后来发现真正决定效果的是我那两百来条数据写得糊不糊。output 里的答案风格不统一，模型就学成一锅粥。宁可少几条，每条都亲手过一遍。
二、微调不是万金油。想让模型记住你的私有知识，公司文档、产品手册这类，微调是又贵又不稳的路子，那是 RAG 的活。微调擅长改的是行为：说话风格、输出格式、固定流程。先想清楚你要改的是知识还是习惯，再决定掏不掏这层功夫。
三、别一上来就瞄准大模型。我用 4B 跑通之后感觉「就这？」，自信满满去开 14B，QLoRA 也需要 12GB 上下，直接显存爆掉。倒回来把 4B 玩明白，再往上加码不迟。官方还有 FSDP+QLoRA 的方案，两张 24GB 的卡能训 70B，但那是另一条路上的风景了。
写在最后
一个晚上，一块入门显卡，或者一个免费的 Colab。2026 年微调大模型的门槛已经低成这样了。它当然不能让 4B 变成顶级模型，但「完全按我的习惯说话干活」这件事，只有自己练的补丁做得到。
如果你也想练一个，打算喂它什么数据？评论区聊聊，后续我可以写写训练数据集怎么造。