OpenAI API 推出 12 小时提示缓存
OpenAI 宣布 API 现已支持 12 小时提示缓存(prompt caching)。持久化智能体(如 dots)可在全天复用共享指令、工具和上下文,即使请求间隔数小时,仍可按较低的缓存输入费率计费。
此外,Codex 与 Work 的登录用户可享永久缓存,回到旧对话或暂停数小时后继续无需任何惩罚,且保证命中缓存。
OpenAI Developers(@OpenAIDevs) | Tibo(@thsottiaux)
🌸 科技圈· 茶馆 · 投稿
via 在花🎗️科技圈 - Telegram Channel
OpenAI 宣布 API 现已支持 12 小时提示缓存(prompt caching)。持久化智能体(如 dots)可在全天复用共享指令、工具和上下文,即使请求间隔数小时,仍可按较低的缓存输入费率计费。
此外,Codex 与 Work 的登录用户可享永久缓存,回到旧对话或暂停数小时后继续无需任何惩罚,且保证命中缓存。
OpenAI Developers(@OpenAIDevs) | Tibo(@thsottiaux)
🌸 科技圈· 茶馆 · 投稿
via 在花🎗️科技圈 - Telegram Channel