首页/AI/5

把一次漂亮回答变成稳定功能 · MODULE 05

生成式 AI 应用工程

学习指令、上下文、结构化输出、工具调用、流式响应与多模态,让模型输出进入真正的软件契约。

进阶18 小时4 个核心主题

先用一句白话理解

模型像能力很强但不了解公司的新同事。清晰任务、足够资料、固定交付格式和复核流程,比一句“请聪明一点”有效得多。

学完你能做到什么

01

能设计清晰的指令、上下文边界和少样本示例

02

能使用结构化输出与函数工具连接真实业务

03

能处理流式、会话状态、重试、限流、缓存与多模态输入

把每个核心概念讲透

不要把知识点当作名词列表。下面每一项都要回到真实项目中回答:它解决什么问题,如何验证,以及在哪些条件下会失效。

01CORE CONCEPT

Prompt 与 Context Engineering、角色和指令优先级

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建多模态会议助手:接收录音和白板照片,输出摘要、行动项、负责人和可导入日历的结构化结果。”中,回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论:完成“把自由文本输出改为可校验的数据结构”,记录现象、预期、差异和结论。
02CORE CONCEPT

Structured Output、Function Calling 与输入校验

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建多模态会议助手:接收录音和白板照片,输出摘要、行动项、负责人和可导入日历的结构化结果。”中,回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论:完成“给外部 API 工具加入超时和错误处理”,记录现象、预期、差异和结论。
03CORE CONCEPT

文本、图片、音频的多模态处理

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建多模态会议助手:接收录音和白板照片,输出摘要、行动项、负责人和可导入日历的结构化结果。”中,回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论:完成“记录每次请求的质量、延迟与 token 成本”,记录现象、预期、差异和结论。
04CORE CONCEPT

流式响应、会话状态、缓存、超时、重试和成本预算

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建多模态会议助手:接收录音和白板照片,输出摘要、行动项、负责人和可导入日历的结构化结果。”中,回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论:完成“把自由文本输出改为可校验的数据结构”,记录现象、预期、差异和结论。

这一章的学习步骤

1Prompt 与 Context Engineering、角色和指令优先级
2Structured Output、Function Calling 与输入校验
3文本、图片、音频的多模态处理
4流式响应、会话状态、缓存、超时、重试和成本预算
STEP 01

把自由文本输出改为可校验的数据结构

STEP 02

给外部 API 工具加入超时和错误处理

STEP 03

记录每次请求的质量、延迟与 token 成本

动手任务

PROJECT BRIEF

构建多模态会议助手:接收录音和白板照片,输出摘要、行动项、负责人和可导入日历的结构化结果。

交付清单

  • 可切换模型供应商的服务层
  • 带校验的结构化输出 Schema
  • 提示版本、失败案例和成本看板

用 Responses API 完成一次可追踪调用

python
import os
from openai import OpenAI

client = OpenAI()
response = client.responses.create(
    model=os.environ["OPENAI_MODEL"],
    instructions="你是会议助理,只输出三条可执行行动项。",
    input="会议决定:周五前完成首页原型,负责人小唐。",
)
print(response.output_text)

先让它跑起来,再逐行修改。最有效的学习方式,是观察你的改动如何影响结果。

三级练习:从复现到生产

每一级都比上一级少一点提示、多一点约束。只有在不看答案也能完成验收时,知识才真正变成能力。

01
LEVEL 1 · 基础复现

让核心机制第一次跑通

  • 把自由文本输出改为可校验的数据结构
  • 给外部 API 工具加入超时和错误处理
  • 记录每次请求的质量、延迟与 token 成本
02
LEVEL 2 · 独立改造

改变约束,验证你真的理解

  • 不看教程,独立完成:能设计清晰的指令、上下文边界和少样本示例
  • 不看教程,独立完成:能使用结构化输出与函数工具连接真实业务
  • 不看教程,独立完成:能处理流式、会话状态、重试、限流、缓存与多模态输入
03
LEVEL 3 · 生产挑战

把实验变成能交付的工程

  • 可切换模型供应商的服务层
  • 带校验的结构化输出 Schema
  • 提示版本、失败案例和成本看板
  • 检查数据漂移、权限、安全、延迟、成本与回滚,并把检查结果写进项目复盘。

最容易踩的坑

01

把 API Key 放进浏览器代码或提交到仓库

02

依赖提示词要求模型输出 JSON,却不做 Schema 校验

03

用无限重试掩盖限流和系统性失败

先回答,再展开参考答案

Q01这一课最核心的业务目标是什么?

学习指令、上下文、结构化输出、工具调用、流式响应与多模态,让模型输出进入真正的软件契约。

Q02如果只能保留三个验收结果,应该保留什么?

可切换模型供应商的服务层;带校验的结构化输出 Schema;提示版本、失败案例和成本看板

Q03学习过程中最需要主动避免什么?

把 API Key 放进浏览器代码或提交到仓库;依赖提示词要求模型输出 JSON,却不做 Schema 校验;用无限重试掩盖限流和系统性失败

Q04怎样证明你不是“看懂了”,而是真的会做?

独立完成“构建多模态会议助手:接收录音和白板照片,输出摘要、行动项、负责人和可导入日历的结构化结果。”,并用测试、数据或运行结果逐项验收交付清单。

PRODUCTION READINESS

本课完成检查表

全部能打勾,再进入下一课。

  • 目标明确:能设计清晰的指令、上下文边界和少样本示例
  • 核心机制已用最小实验验证:把自由文本输出改为可校验的数据结构
  • 风险已检查:把 API Key 放进浏览器代码或提交到仓库
  • 风险已检查:依赖提示词要求模型输出 JSON,却不做 Schema 校验
  • 风险已检查:用无限重试掩盖限流和系统性失败
  • 交付物可复现:可切换模型供应商的服务层
  • 交付物可复现:带校验的结构化输出 Schema
  • 交付物可复现:提示版本、失败案例和成本看板

继续深入的官方资料

课程版本基线:2026 年 7 月。涉及版本号时,以链接中的官方文档为最终依据。