English
主导航

Appshots

从任意 Mac 应用向 Codex 提供上下文

Appshots 可让你将最前方的应用窗口发送至 Codex 线程。当你在电脑上的其他应用中工作,并希望向 Codex 提供当前上下文以帮助完成任务时,可以使用此功能。

Appshots 可在 macOS 上的 Codex 应用中使用。同时按下两个 Command 键,或你自定义的 Appshots 快捷键即可截取。

Appshots 会捕获哪些内容

Appshot 仅捕获最前方的窗口。它可能包括:

  • 可见窗口的图像。
  • 该窗口中的可用文本,包括可见文本以及应用在可见滚动区域外提供的文本。

将 appshot 添加到线程后,其行为类似于 Codex 附件。Codex 会将 appshots 本地存储在会话文件中,就像你手动附加的文件或图像一样。

何时使用 appshots

当 Codex 需要来自 Mac 应用的上下文才能执行操作时,请使用 appshots。

Examples:

  • 分享 API 参考页面,并让 Codex 编写使用该页面的脚本。
  • 分享电子邮件或日历视图,并让 Codex 起草下一步操作。
  • 分享图像编辑器、设计或预览窗口,并让 Codex 修改相关的资源或代码。
  • 分享错误信息、设置面板或应用状态(这些内容通常展示起来比描述更直观)。

截取 appshot

  1. 在 Mac 上打开 Codex 应用。
  2. 打开你要共享的应用和窗口。
  3. 同时按下两个 Command 键,或在 Codex 设置中配置的自定义快捷键。
  4. 如果 Codex 提示,请允许 macOS 权限。
  5. 让 Codex 使用该 appshot 执行任务。

默认情况下,Codex 会为 appshot 启动一个新线程。如果你在过去 60 秒内与某个 Codex 线程进行过交互,Codex 会将 appshot 添加到该最近的线程中。连续截取的 appshots 会被添加到同一线程。

你可以在 Codex 设置中更改 Appshots 快捷键。

权限与安全

在截取 appshots 之前,Codex 可能会请求权限:

  • 屏幕与系统音频录制 允许 Codex 捕获最前方窗口的图像。
  • 辅助功能 允许 Codex 读取最前方窗口中的可用文本。

截取 appshot 会与 Codex 共享捕获的图像和可用文本。除非任务需要,否则请避免截取包含敏感内容的 appshots。

查看 appshots 的方式应与查看和 Codex 共享的截图及文档的方式相同。

限制与故障排除

Appshots 是 Codex 应用的一项功能。请从 macOS 上的 Codex 应用中创建它们。如果你在 CLI 中恢复已包含 appshot 的线程,该附件会成为线程历史记录的一部分,但 CLI 无法创建新的 appshot。

对于某些应用和网站,包括 Google Docs、Gmail、Google Sheets 和 Google Slides,Codex 可能仅会收到可见的屏幕截图,而无法收到完整的文档或屏幕外的文本。如果你安装了匹配的插件,Codex 可以使用该插件来访问相关的应用内容并协助处理你的请求。

如果 appshots 不起作用:

  1. 打开 系统设置 > 隐私与安全性.
  2. 检查 屏幕与系统音频录制 and 辅助功能 for Codex Computer Use.
  3. 重启 Codex 并重试。