TANG / LABBUILD · LEARN · SHIP开始学习
首页/AI/第 7 课

知道何时该训练，也知道何时不该 · MODULE 07

模型微调与后训练

从高质量数据集开始，掌握 SFT、LoRA/QLoRA、偏好优化、蒸馏与量化，并用受控实验判断微调是否真的优于提示或 RAG。

高级26 小时4 个核心主题

WHY IT MATTERS

先用一句白话理解

提示词像给员工一张任务单，RAG 像给他一本最新手册，微调像长期岗位培训。问题只是缺资料时，没必要重训大脑。

LEARNING OUTCOMES

学完你能做到什么

01

能根据知识、风格、行为和成本问题选择 Prompt、RAG 或微调

02

能策划、清洗、去重和划分训练/验证/测试数据

03

能完成参数高效微调，并评估能力提升与能力退化

CONCEPT DEEP DIVE

把每个核心概念讲透

不要把知识点当作名词列表。下面每一项都要回到真实项目中回答：它解决什么问题，如何验证，以及在哪些条件下会失效。

01CORE CONCEPT

数据策划、去重、质量评分、污染和许可证

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“为客服或代码审查领域制作高质量数据集，训练 LoRA Adapter，并用盲测证明它在哪些任务上值得上线。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论：完成“制定任务定义和数据质量规范”，记录现象、预期、差异和结论。
02CORE CONCEPT

SFT、LoRA、QLoRA、Adapter 与全量微调边界

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“为客服或代码审查领域制作高质量数据集，训练 LoRA Adapter，并用盲测证明它在哪些任务上值得上线。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论：完成“用小模型跑通训练、保存与加载 Adapter”，记录现象、预期、差异和结论。
03CORE CONCEPT

偏好优化、强化学习、推理模型训练入门

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“为客服或代码审查领域制作高质量数据集，训练 LoRA Adapter，并用盲测证明它在哪些任务上值得上线。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论：完成“盲测 Base、Prompt、RAG 与 Fine-tuned 四个版本”，记录现象、预期、差异和结论。
04CORE CONCEPT

蒸馏、量化、检查点、灾难性遗忘和模型卡

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“为客服或代码审查领域制作高质量数据集，训练 LoRA Adapter，并用盲测证明它在哪些任务上值得上线。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论：完成“制定任务定义和数据质量规范”，记录现象、预期、差异和结论。

CONCEPT MAP

这一章的学习步骤

1数据策划、去重、质量评分、污染和许可证
2SFT、LoRA、QLoRA、Adapter 与全量微调边界
3偏好优化、强化学习、推理模型训练入门
4蒸馏、量化、检查点、灾难性遗忘和模型卡
STEP 01

制定任务定义和数据质量规范

STEP 02

用小模型跑通训练、保存与加载 Adapter

STEP 03

盲测 Base、Prompt、RAG 与 Fine-tuned 四个版本

HANDS-ON PROJECT

动手任务

PROJECT BRIEF

为客服或代码审查领域制作高质量数据集，训练 LoRA Adapter，并用盲测证明它在哪些任务上值得上线。

交付清单

  • ✓带数据说明卡的版本化训练集
  • ✓可复现训练配置与 Adapter 权重
  • ✓能力提升、退化、成本与许可证报告

DELIBERATE PRACTICE

三级练习：从复现到生产

每一级都比上一级少一点提示、多一点约束。只有在不看答案也能完成验收时，知识才真正变成能力。

01
LEVEL 1 · 基础复现

让核心机制第一次跑通

  • 制定任务定义和数据质量规范
  • 用小模型跑通训练、保存与加载 Adapter
  • 盲测 Base、Prompt、RAG 与 Fine-tuned 四个版本
02
LEVEL 2 · 独立改造

改变约束，验证你真的理解

  • 不看教程，独立完成：能根据知识、风格、行为和成本问题选择 Prompt、RAG 或微调
  • 不看教程，独立完成：能策划、清洗、去重和划分训练/验证/测试数据
  • 不看教程，独立完成：能完成参数高效微调，并评估能力提升与能力退化
03
LEVEL 3 · 生产挑战

把实验变成能交付的工程

  • 带数据说明卡的版本化训练集
  • 可复现训练配置与 Adapter 权重
  • 能力提升、退化、成本与许可证报告
  • 检查数据漂移、权限、安全、延迟、成本与回滚，并把检查结果写进项目复盘。

COMMON PITFALLS

最容易踩的坑

01

原始资料未经清洗就生成大量低质训练样本

02

训练集与评测集重复，制造虚假的高分

03

只报告目标任务提升，不检查通用能力和安全退化

SELF CHECK

先回答，再展开参考答案

Q01这一课最核心的业务目标是什么？＋

从高质量数据集开始，掌握 SFT、LoRA/QLoRA、偏好优化、蒸馏与量化，并用受控实验判断微调是否真的优于提示或 RAG。

Q02如果只能保留三个验收结果，应该保留什么？＋

带数据说明卡的版本化训练集；可复现训练配置与 Adapter 权重；能力提升、退化、成本与许可证报告

Q03学习过程中最需要主动避免什么？＋

原始资料未经清洗就生成大量低质训练样本；训练集与评测集重复，制造虚假的高分；只报告目标任务提升，不检查通用能力和安全退化

Q04怎样证明你不是“看懂了”，而是真的会做？＋

独立完成“为客服或代码审查领域制作高质量数据集，训练 LoRA Adapter，并用盲测证明它在哪些任务上值得上线。”，并用测试、数据或运行结果逐项验收交付清单。

PRODUCTION READINESS

本课完成检查表

全部能打勾，再进入下一课。

  • □目标明确：能根据知识、风格、行为和成本问题选择 Prompt、RAG 或微调
  • □核心机制已用最小实验验证：制定任务定义和数据质量规范
  • □风险已检查：原始资料未经清洗就生成大量低质训练样本
  • □风险已检查：训练集与评测集重复，制造虚假的高分
  • □风险已检查：只报告目标任务提升，不检查通用能力和安全退化
  • □交付物可复现：带数据说明卡的版本化训练集
  • □交付物可复现：可复现训练配置与 Adapter 权重
  • □交付物可复现：能力提升、退化、成本与许可证报告

PRIMARY SOURCES

继续深入的官方资料

Hugging Face Transformers：参数高效微调Hugging Face Transformers：Fine-tuningHugging Face TRL 官方文档

课程版本基线：2026 年 7 月。涉及版本号时，以链接中的官方文档为最终依据。