模型选择是帮助构建者改进其 AI 应用程序的重要手段。在 OpenAI 平台上使用评估功能时，除了可以评估 OpenAI 的原生模型外，您还可以评估各种外部模型。
我们支持访问 第三方模型 （无需 API 密钥）以及访问 自定义端点 （需要 API 密钥）。
第三方模型
要使用第三方模型，必须满足以下条件：
- 您的 OpenAI 组织必须处于 使用层级 1 or higher.
- OpenAI 组织的管理员必须通过以下路径启用此功能： Settings > Organization > General。要启用此功能，管理员必须接受显示的使用免责声明。
对外部模型的调用会将数据传递给第三方，并且与对 OpenAI 模型的调用相比，受不同的条款约束，安全性保障也较弱。
计费和使用限制
OpenAI 目前承担第三方模型上的推理成本，但需受限于基于您组织使用层级的以下月度限制。
| 使用层级 | 每月支出限额（USD） |
|---|---|
| 层级 1 | $5 |
| 层级 2 | $25 |
| 层级 3 | $50 |
| 层级 4 | $100 |
| 等级 5 | $200 |
我们通过合作伙伴 OpenRouter 提供这些模型。未来，第三方模型将按标准计入您常规的 OpenAI 计费周期，费率为 OpenRouter 价格列表.
可用的第三方模型
我们提供对以下外部模型提供商的访问：
- Anthropic（托管于 AWS Bedrock）
- Together
- Fireworks
自定义端点
您可以配置完全自定义的模型端点，并在 OpenAI 平台上针对它运行评估。这通常是我们原生不支持的提供商、您自行托管的模型，或者是您用来进行推理调用的自定义代理。
要使用此功能，您的 OpenAI 组织的管理员必须通过以下方式启用“为评估启用自定义提供商”设置： Settings > Organization > General。要启用此功能，管理员必须接受显示的使用免责声明。请注意，对外部模型发起的调用会将数据传输给第三方，并且其遵循的条款和安全性保障有别于对 OpenAI 模型的调用。
一旦您有资格使用自定义提供商，您可以在 评估 选项卡下的 设置。请注意，自定义提供商是基于各个项目进行配置的。要连接您的自定义端点，您需要：
- An endpoint compatible with OpenAI 的聊天补全端点
- An API key
命名您的端点，提供端点 URL，并指定您的 API 密钥。我们要求您使用 https:// 端点，并且我们会出于安全考虑对您的密钥进行加密。指定您希望评估的任何模型名称（别名）。您可以点击 验证 按钮以确保您的模型已正确设置。这将向您的每个模型别名发起包含最少量输入的测试调用，并会提示任何失败。
使用外部模型运行评估
配置外部模型后，您可以在评估中通过从模型选择器中选择它来用于 数据集 or your 评估。请注意，目前不支持工具调用。
| 模型类型 | 数据集 | 评估 |
|---|---|---|
| 第三方 | ||
| 自定义 |
后续步骤
获取更多灵感，请访问 OpenAI Cookbook，其中包含示例代码和第三方资源链接，或者了解更多关于我们的评估工具的信息：
使用数据集快速构建评估并迭代提示词。
针对外部模型进行评估、通过 API 与评估进行交互等。