Gemini 中文指南
获取 API 密钥 ↗

Gemini API 优化与推理

↓ 下载 MarkdownInteractions API

Gemini API 提供多种优化机制,帮助您根据特定工作负载需求平衡速度、成本和可靠性。无论您是构建实时对话机器人还是运行繁重的离线数据处理管道,选择正确的范例都可以显着降低成本或提高性能。

特点标准型柔性优先级批次缓存
价格全价50%折扣75% 至 100% 超过标准50%折扣90% 折扣 + 按比例分配的 token 存储
延迟秒到分钟分钟(1–15 分钟目标)秒数长达 24 小时更快的首次启动时间-token
可靠性高/中高尽力而为(可脱落)高(不可脱落)高(针对吞吐量)N/A
接口同步同步同步异步保存状态
最佳用例一般应用程序工作流程非紧急顺序链生产、面向用户的应用程序海量数据集,离线评估对同一文件的重复查询

推理服务层(同步) #

您可以通过传递以下参数在可靠性优化和成本优化的同步流量之间切换: service_tier 标准生成调用中的参数。

标准推理(默认) #

标准层是顺序内容生成的默认选项。它提供正常的响应时间,无需额外费用或大量排队。

  • 可靠性: 标准关键性
  • 价格: 标准定价。
  • 最适合: 大多数交互式日常应用程序。

优先级推理(延迟优化) #

优先级 处理将您的请求路由到高关键性计算队列。此流量是严格不可丢弃的(不会被其他层抢占)并提供最高的可靠性。如果超出动态优先级限制,系统将正常将请求降级为标准处理,而不是因错误而失败。

  • 可靠性: 最高关键性
  • 价格: 高于标准费率的 75% 至 100%。
  • 最适合: 客户聊天机器人、实时欺诈检测和关键业务副驾驶。

Flex 推理(成本优化) #

弹性推理 通过利用机会性的非高峰计算能力,与标准费率相比,提供 50% 的折扣。请求是同步处理的,这意味着您不需要重写代码来管理批处理对象。由于它是“可丢弃”流量,因此如果系统遇到标准流量峰值,请求可能会被抢占。

  • 可靠性: 无保证、可摆脱的关键性
  • 价格: 标准定价的 50%(按 token 计费)。
  • 最适合: 多步骤智能体工作流程,其中呼叫 N+1 取决于呼叫 N 的输出、后台 CRM 更新和离线评估。

Batch API(批量,异步) #

Batch API 旨在以标准成本的 50% 异步处理大量请求。您可以以内嵌字典的形式或使用 JSONL 输入文件(最大 2GB)提交请求。它使用后台吞吐量队列处理请求,目标周转时间为 24 小时。

  • 可靠性: 可卸除,但具有 24 小时自动重试和排队系统
  • 价格: 标准定价的 50%。
  • 最适合: 预处理大量数据集、运行定期回归测试套件以及大容量图像或嵌入生成。

上下文缓存(输入节省) #

上下文缓存 当较短的请求重复引用大量初始上下文时使用。

  • 隐式缓存: 在 Gemini、2.5 及更新型号上自动启用。如果您的请求根据常见提示前缀命中现有缓存,系统会节省成本。

  • 显式缓存: 您可以手动创建具有特定生存时间 (TTL) 的缓存对象。创建后,您可以在后续请求中引用缓存的 token,以避免重复传递相同的语料库负载。 Gemini 4 型号不支持显式缓存(gemini-4-carbon, gemini-4-argon, 和 gemini-4-hydrogen).

  • 价格: 根据缓存 token 计数和存储持续时间 (TTL) 计费。

  • 最适合: 聊天机器人具有丰富的系统指令、对冗长视频文件的重复分析或对大型文档集的查询。

通过智能体处理降低视频输入成本 #

对于长视频内容(超过 5–10 分钟)或有针对性的查询,智能体处理可以将输入 token 成本降低高达 88%,同时提高响应质量。默认情况下,所有型号(包括Gemini 4)均使用 静态处理 以 1 FPS 提取帧。通过智能体视频理解,该模型首先检查视频脚本,并仅在需要时以更高的帧速率和分辨率动态加载视觉片段。对于短剪辑(5 分钟以下)或广泛的完整视频摘要,请保留默认静态处理模式,以获得更快的首次token时间 (TTFT) 和更低的 token 开销。智能体模式引发内部推理(total_thought_tokens)和工具往返行程(total_tool_use_tokens)在时间线导航期间。

要使用 Gemini 4 Carbon、Gemini 4 Argon、Gemini 4 Hydrogen、3.8 Flash、3.6 Flash 或 3.5 Flash Lite 的智能体处理,请设置 processing: "agentic" (Interactions API) 或 media_processing: "AGENTIC" (GenerateContent API) 在您的视频输入上。如果模型不支持智能体处理,则会返回错误。

有关更多信息,请参阅 智能体视频理解.

搜索标题、API 名称或正文内容