上下文缓存
在典型的 AI 工作流程中,您可能会将相同的输入 token 一遍又一遍地传递给模型。 Gemini API 提供隐式缓存以优化性能和成本。
隐式缓存 #
默认情况下,所有 Gemini、2.5 及更新型号均启用隐式缓存。两者都支持 有状态的 (使用 previous_interaction_id)和 无国籍的 对话模式。如果您的请求命中缓存,我们会自动节省成本。您无需配置任何内容即可将其打开。下表列出了每个型号的最小输入 token 数量:
| 模型 | 最小 token 限制 |
|---|---|
| Gemini 4 Carbon | 4,096 |
| Gemini 4 Argon | 4,096 |
| Gemini 4 Hydrogen | 4,096 |
| Gemini 3.8 Flash | 4,096 |
| Gemini 3.6 Flash | 4,096 |
| Gemini 3.1 Pro Preview | 4,096 |
| Gemini 2.5 Flash | 2,048 |
| Gemini 2.5 Pro | 2,048 |
要增加隐式缓存命中的机会:
- 尝试将大而常见的内容放在提示的开头
- 尝试在短时间内发送具有相似前缀的请求
您可以在响应对象的缓存命中中看到 token 的数量 usage.total_cached_tokens (Python 和 JavaScript)字段。