首页/AI/6

让回答有依据、能更新、可追溯 · MODULE 06

RAG 与企业知识库

从文档进入系统的第一步开始,完整处理解析、切分、检索、重排、引用、权限、拒答和持续更新。

进阶22 小时4 个核心主题

先用一句白话理解

RAG 像开卷考试:模型负责组织答案,检索系统负责把正确页码送到桌上;书翻错了,表达再好也会答错。

学完你能做到什么

01

能设计文档解析、切分、索引、检索和生成流水线

02

能组合语义检索、关键词检索、过滤、重排与引用

03

能分别评估检索质量和答案质量,并实现可靠拒答

把每个核心概念讲透

不要把知识点当作名词列表。下面每一项都要回到真实项目中回答:它解决什么问题,如何验证,以及在哪些条件下会失效。

01CORE CONCEPT

文档解析、chunk、embedding 与向量索引

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建企业文档问答系统:回答必须有逐段引用,越权内容不可检索,证据不足时明确说明不知道。”中,回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论:完成“建立带页码和权限元数据的文档索引”,记录现象、预期、差异和结论。
02CORE CONCEPT

语义检索、混合检索、查询改写、重排和元数据过滤

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建企业文档问答系统:回答必须有逐段引用,越权内容不可检索,证据不足时明确说明不知道。”中,回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论:完成“制作至少 30 条包含无答案问题的检索测试集”,记录现象、预期、差异和结论。
03CORE CONCEPT

来源引用、权限隔离、时效性与删除传播

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建企业文档问答系统:回答必须有逐段引用,越权内容不可检索,证据不足时明确说明不知道。”中,回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论:完成“让最终答案逐段附来源并可跳回原文”,记录现象、预期、差异和结论。
04CORE CONCEPT

Recall@K、MRR、忠实度、相关性和无答案测试

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建企业文档问答系统:回答必须有逐段引用,越权内容不可检索,证据不足时明确说明不知道。”中,回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论:完成“建立带页码和权限元数据的文档索引”,记录现象、预期、差异和结论。

这一章的学习步骤

1文档解析、chunk、embedding 与向量索引
2语义检索、混合检索、查询改写、重排和元数据过滤
3来源引用、权限隔离、时效性与删除传播
4Recall@K、MRR、忠实度、相关性和无答案测试
STEP 01

建立带页码和权限元数据的文档索引

STEP 02

制作至少 30 条包含无答案问题的检索测试集

STEP 03

让最终答案逐段附来源并可跳回原文

动手任务

PROJECT BRIEF

构建企业文档问答系统:回答必须有逐段引用,越权内容不可检索,证据不足时明确说明不知道。

交付清单

  • 可增量更新的知识入库流水线
  • 检索与答案两层评测报告
  • 权限、引用和拒答验收用例

创建向量库并执行一次语义搜索

python
from openai import OpenAI

client = OpenAI()
store = client.vector_stores.create(name="Company Handbook")
with open("handbook.txt", "rb") as document:
    client.vector_stores.files.upload_and_poll(
        vector_store_id=store.id,
        file=document,
    )

results = client.vector_stores.search(
    vector_store_id=store.id,
    query="年假如何申请?",
)
for item in results.data[:3]:
    print(item.score, item.content[0].text)

先让它跑起来,再逐行修改。最有效的学习方式,是观察你的改动如何影响结果。

三级练习:从复现到生产

每一级都比上一级少一点提示、多一点约束。只有在不看答案也能完成验收时,知识才真正变成能力。

01
LEVEL 1 · 基础复现

让核心机制第一次跑通

  • 建立带页码和权限元数据的文档索引
  • 制作至少 30 条包含无答案问题的检索测试集
  • 让最终答案逐段附来源并可跳回原文
02
LEVEL 2 · 独立改造

改变约束,验证你真的理解

  • 不看教程,独立完成:能设计文档解析、切分、索引、检索和生成流水线
  • 不看教程,独立完成:能组合语义检索、关键词检索、过滤、重排与引用
  • 不看教程,独立完成:能分别评估检索质量和答案质量,并实现可靠拒答
03
LEVEL 3 · 生产挑战

把实验变成能交付的工程

  • 可增量更新的知识入库流水线
  • 检索与答案两层评测报告
  • 权限、引用和拒答验收用例
  • 检查数据漂移、权限、安全、延迟、成本与回滚,并把检查结果写进项目复盘。

最容易踩的坑

01

只调生成提示词,不检查真正检索到了什么

02

固定长度粗暴切分,破坏标题、表格和语义边界

03

向量库删除不完整,导致过期或越权内容继续被召回

先回答,再展开参考答案

Q01这一课最核心的业务目标是什么?

从文档进入系统的第一步开始,完整处理解析、切分、检索、重排、引用、权限、拒答和持续更新。

Q02如果只能保留三个验收结果,应该保留什么?

可增量更新的知识入库流水线;检索与答案两层评测报告;权限、引用和拒答验收用例

Q03学习过程中最需要主动避免什么?

只调生成提示词,不检查真正检索到了什么;固定长度粗暴切分,破坏标题、表格和语义边界;向量库删除不完整,导致过期或越权内容继续被召回

Q04怎样证明你不是“看懂了”,而是真的会做?

独立完成“构建企业文档问答系统:回答必须有逐段引用,越权内容不可检索,证据不足时明确说明不知道。”,并用测试、数据或运行结果逐项验收交付清单。

PRODUCTION READINESS

本课完成检查表

全部能打勾,再进入下一课。

  • 目标明确:能设计文档解析、切分、索引、检索和生成流水线
  • 核心机制已用最小实验验证:建立带页码和权限元数据的文档索引
  • 风险已检查:只调生成提示词,不检查真正检索到了什么
  • 风险已检查:固定长度粗暴切分,破坏标题、表格和语义边界
  • 风险已检查:向量库删除不完整,导致过期或越权内容继续被召回
  • 交付物可复现:可增量更新的知识入库流水线
  • 交付物可复现:检索与答案两层评测报告
  • 交付物可复现:权限、引用和拒答验收用例

继续深入的官方资料

课程版本基线:2026 年 7 月。涉及版本号时,以链接中的官方文档为最终依据。