OpenAI News·· 2024-10-01精选AI 评分60
OpenAI 在 API 中推出 Prompt Caching
Prompt Caching in the API
AI 导读
OpenAI 在 API 中推出 Prompt Caching，对模型近期已见过的输入提供自动折扣。该功能面向重复使用相同前缀的调用场景，无需额外配置即可生效。
推荐理由
OpenAI 为 API 引入提示词缓存，对重复输入自动折扣，读者可据此估算长提示词场景的成本变化。
来源：OpenAI News · openai.com