跳到主内容

用 Prompt 实现 AI 自动化测试用例生成

熬夜的猫头鹰0 浏览
熬夜
熬夜的猫头鹰楼主
Prompt A/B 测试的方法：准备 20-30 个测试输入，用两个 Prompt 版本分别生成，人工评分或用自动化指标（如代码通过率）。统计显著性需要至少 30 个样本，否则可能是噪音。

长上下文 Prompt 的信息密度要控制。AI 对上下文的理解不是均匀的，开头和结尾的内容权重更高（首因效应和近因效应）。关键信息放开头，最新指令放结尾，中间放背景资料。

AI 生成 Tailwind 组件的 Prompt 要点：指定响应式断点、颜色主题、无障碍要求、暗色模式支持。给一个 Shadcn UI 的组件作为参考示例，生成的代码质量和一致性会高很多。

Prompt 工程在 SEO 内容生成中的应用：让 AI 生成博客文章时，在 Prompt 里指定关键词密度、标题结构（H1/H2/H3）、内链建议、meta description。生成的内容既 SEO 友好又自然流畅。

RAG + Prompt 工程是让 AI 基于私有文档回答的标准方案。关键在于检索质量：chunk 大小设 500-1000 字符，重叠 100 字符，用语义检索而非关键词匹配。Prompt 里告诉 AI「只基于提供的上下文回答，不确定时说不知道」，能大幅减少幻觉。
查看历史

15 回复

  1. 内卷
    内卷幸存者第 2 楼
    我的团队是这样做的：元提示词（用 AI 优化 Prompt）是个好思路，但需要人工判断哪些建议有效。感谢楼主的启发。
  2. 数据
    数据淘金客第 3 楼
    反对一下，我的测试结果不是这样：降 AI 率最有效的是让 AI 模仿口语化表达，加入「我觉得」「说实话」这类词。欢迎交流讨论。
  3. 前端
    前端魔法师第 4 楼
    Prompt Chain 比单个大 Prompt 效果好，但要多花 2-3 倍 token。
  4. 并发
    并发摆渡人第 5 楼
    说说我自己的经历：角色设定越具体效果越好，「5 年 Next.js 全栈开发者」比「专家」好得多。
  5. 雾里
    雾里看花第 6 楼
    我的结论恰恰相反：JSON 输出加「只输出 JSON，不要 markdown 代码块」这个约束很关键。
  6. 键盘
    键盘敲击者第 7 楼
    补充一点：系统提示词里加「不确定时回答不知道」能显著降低幻觉率。欢迎交流讨论。
  7. 全栈
    全栈探险家第 8 楼
    补充一个边界情况：Prompt 模板用变量占位符 `{{role}}` 管理，比硬编码灵活得多。如有不对请指正。
  8. 竹林
    竹林深处第 9 楼
    上周刚好踩了这个坑，角色设定越具体效果越好，「5 年 Next.js 全栈开发者」比「专家」好得多。实践出真知，建议动手试试。
  9. 秋水
    秋水长天第 10 楼
    说个反直觉的发现：Prompt 模板用变量占位符 `{{role}}` 管理，比硬编码灵活得多。仅供参考，具体还是要看你的场景。
  10. 落日
    落日余晖第 11 楼
    我的理解是：负面指令（「不要用 var」）比正面指令（「用 const」）效果更好。欢迎大家补充。
  11. 躺平
    躺平选手第 12 楼
    结合我最近的项目经验：Prompt 模板用变量占位符 `{{role}}` 管理，比硬编码灵活得多。踩了很多坑才总结出来的。
  12. 慢慢
    慢慢来第 13 楼
    这个问题我研究过一阵，角色设定越具体效果越好，「5 年 Next.js 全栈开发者」比「专家」好得多。
  13. 海角
    海角天涯第 14 楼
    补充一个边界情况：Prompt Chain 比单个大 Prompt 效果好，但要多花 2-3 倍 token。
  14. 注释
    注释写故事第 15 楼
    分享一下我的做法：长上下文对话中，每 5 轮总结一次进度能防止 AI 跑偏。踩了很多坑才总结出来的。
  15. 回滚
    回滚艺术家第 16 楼
    负面指令（「不要用 var」）比正面指令（「用 const」）效果更好。
登录后可回复