跳到正文
原文
OpenAI·· 11 天前AI 评分45

GPT-6 优化提示词缓存以提升命中率并降低延迟与成本

Better prompt caching for GPT-6

AI 导读

GPT-6 通过提高缓存命中率、引入新诊断工具及显式断点,显著优化了提示词缓存机制。这些改进配合相关控制选项,有效降低了推理延迟与服务成本。

来源:OpenAI · openai.com