返回

01.5-ai-assisted-prompt-development.md

4.0 KB · MD · 2026-06-18 10:12

练习 01.5:用 AI 辅助开发 Prompt

目标:练习让 AI 帮你把模糊需求变成可测试、可迭代的 Prompt,而不是自己硬写。

一、选择一个任务

从下面任选一个,也可以换成你自己的真实任务:

  • 总结客服聊天记录。
  • 分析一份合同风险。
  • 把会议记录整理成待办事项。
  • 让代码助手解释一个报错。
  • 把论文摘要改成学习笔记。

写下你的模糊需求:

[例如:帮我写一个 Prompt,用来总结客服聊天记录]

二、让 AI 先写 Prompt brief

把下面这段发给 AI:

我想开发一个可复用 Prompt,用于:[填写你的任务]。

请不要直接写最终 Prompt。
请先帮我生成 Prompt brief,并列出你需要我确认的问题。

输出:
1. 你理解的任务目标
2. 目标用户或使用场景
3. 输入材料
4. 输出格式
5. 质量标准
6. 风险边界
7. 需要我确认的问题

记录 AI 追问了哪些问题。

三、让 AI 生成 Prompt 草案

回答必要问题后,把 brief 发给 AI:

请基于下面的 Prompt brief,生成一个可复用 Prompt。

要求:
1. 分为角色、任务、输入、规则、输出格式、自检。
2. 不要写空泛口号。
3. 每条规则都要服务于任务质量或风险控制。
4. 输出格式要可检查。
5. 如果任务需要程序消费输出,请建议是否使用 JSON Schema。

<prompt_brief>
[粘贴 brief]
</prompt_brief>

保存 Prompt 草案为 v0.1

四、让 AI 审查 Prompt

继续发:

请审查下面这个 Prompt。

请按以下维度找问题:
1. 任务目标是否清楚。
2. 输入边界是否清楚。
3. 输出格式是否稳定。
4. 是否有不可执行、不可验证或空泛的要求。
5. 是否有规则冲突。
6. 是否缺少失败处理。
7. 是否存在安全或越权风险。
8. 是否应该使用 schema、RAG、工具或 Eval,而不是只改 Prompt。

输出:
- 严重问题
- 中等问题
- 小问题
- 修改建议
- 修改后的 Prompt

<prompt>
[粘贴 v0.1]
</prompt>

保存修改版为 v0.2

五、生成测试样例

先让 AI 基于 Prompt brief 设计测试,不要直接基于 v0.2 设计。这样可以减少“测试样例迎合当前 Prompt”的问题。

请基于下面的 Prompt brief 设计 5 个测试样例。

注意:测试样例不是为了让当前 Prompt 容易通过,而是为了暴露真实风险和边界问题。请至少包含 2 个可能让 Prompt 失败的样例。

要求覆盖:
1. 普通输入。
2. 长输入。
3. 信息缺失。
4. 格式混乱。
5. 容易诱发错误的边界情况。

每个样例输出:
- id
- 完整测试输入
- 测试目标
- 期望输出要点
- 通过标准
- 失败标准

<prompt_brief>
[粘贴 brief]
</prompt_brief>

保存这 5 个样例。后面测试 v0.2v0.3 时尽量使用同一批样例,不要每次改 Prompt 后重新生成一批更容易通过的样例。

六、运行并记录失败

至少选 2 个样例测试 v0.2

记录:

样例 id:
Prompt 版本:
实际输出:
是否通过:
失败原因:
需要修改:

七、让 AI 做失败归因

如果有失败,把下面内容发给 AI:

下面是 Prompt、测试输入、实际输出和失败说明。

请判断失败主要属于哪一类:
1. Prompt 目标不清。
2. 输入材料不足。
3. 输出格式约束不足。
4. 字段定义不清。
5. 示例误导。
6. 需要 schema。
7. 需要 RAG 或检索。
8. 需要工具调用。
9. 需要权限或人工复核。
10. 需要 Eval 或更多测试样例。

请给出:
- 失败原因
- 应该改 Prompt 的哪一段
- 是否需要 Prompt 之外的系统能力
- 修改后的 Prompt 片段

把新版本记为 v0.3

八、验收标准

完成练习后,你应该得到:

  • 一个 Prompt brief。
  • 至少两个 Prompt 版本。
  • 5 个测试样例。
  • 至少一次失败分析或改版记录。
  • 一个判断:这个任务只需要 Prompt,还是应该升级为 schema、RAG、工具、Skill 或 Eval。