The prompt 优化器 是控制面板中的一个聊天界面，您可以在其中输入 prompt，我们会根据当前的最佳实践对其进行优化，然后再返回给您。将 prompt 优化器与 数据集 结合使用，是实现 prompt 自动化改进的强大方法。
准备数据
- 设置一个 数据集 ，其中包含您想要优化的 prompt 和一个评估数据集。
- 在您的数据集中至少创建三行包含回复的数据。
- 对于每一行，至少创建一个评分器结果或人工标注。
prompt 优化器可以使用您数据集中的以下内容来改进您的 prompt：
- 标注（好/坏以及您添加的额外自定义标注列）
- 以文本形式编写的批评建议 output_feedback
- 评分器结果
为了获得有效的结果，请添加包含好/坏评级的标注以及 and 详细、具体的批评建议。创建 评分器 ，以精准捕捉您期望 prompt 具备的特性。
优化您的 prompt
准备好数据集后，创建一个优化任务。
- 在 prompt 面板的底部，点击 优化。这将为优化结果创建一个新标签页，并开始在后台运行的优化过程。
- 当优化后的 prompt 准备就绪时，查看并测试新的 prompt。
- 重复此过程。虽然单次优化运行可能就能达到您期望的结果，但建议尝试对新的 prompt 重复此优化过程——生成输出、标注输出、运行评分器和优化。
prompt 优化的效果取决于评分器的质量。如果您的 prompt 在某些期望的输出特性上表现不佳，我们建议针对这些特性分别构建定义严格的评分器。
在生产环境中使用优化后的 prompt 之前，请务必进行评估和人工审查。虽然 prompt 优化器通常能显著提升 prompt 的有效性，但优化后的 prompt 也有可能在某些特定输入上的表现不如您的原始 prompt。
后续步骤
获取更多灵感，请访问 OpenAI Cookbook，其中包含示例代码和第三方资源链接，或者了解更多关于我们的评估工具的信息：
指南：使用评估构建弹性提示
使用评估来运作一个持续改进的飞轮。
使用评估
针对外部模型进行评估、通过 API 与评估进行交互等。
评分器
构建复杂的评分器，以提升你 eval 的有效性。
微调
提升模型生成针对您的用例量身定制响应的能力。