OpenAI News·· 2024-10-01精选AI 评分60
OpenAI 在 API 中推出 Prompt Caching
Prompt Caching in the API
AI 导读
OpenAI 在 API 中推出 Prompt Caching，对模型近期见过的输入自动提供折扣。该功能面向重复使用相同输入前缀的调用场景，具体折扣幅度与使用方式原文未给出。
推荐理由
OpenAI 在 API 中上线提示词缓存，对模型近期见过的输入自动打折，读者可据此评估调用成本变化。
来源：OpenAI News · openai.com