Gemini 中文指南
获取 API 密钥 ↗

优先推理

↓ 下载 Markdown

Gemini 优先级 API 是高级推理层,专为需要较低延迟和最高可靠性且价格较高的关键业务工作负载而设计。优先级流量的优先级高于标准 API 和 Flex 层流量。

优先级推断可跨 Interactions API 端点使用。

如何使用优先权 #

要使用优先级,请设置 service_tier 您请求中的字段 priority。如果省略该字段,则默认层为标准层。

python
from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input="Triage this critical customer support ticket immediately.",
    service_tier='priority'
)
print(interaction.output_text)

优先级推断的工作原理 #

优先级推理将请求路由到高关键性计算队列,为面向用户的应用程序提供可预测的快速性能。其主要机制是对超出动态限制的流量进行服务器端优雅降级到标准处理,从而确保应用程序稳定性而不是使请求失败。

特点优先级标准型柔性批次
价格75-100 比标准多 %全价50%折扣50%折扣
延迟秒数秒到分钟分钟(1-15 分钟目标)长达 24 小时
可靠性高(不可脱落)高/中高尽力而为(可脱落)高(针对吞吐量)
接口同步同步同步异步

主要优点 #

  • 低延迟:专为交互式、面向用户的 AI 工具的第二响应时间而设计。

  • 高可靠性:流量受到最高级别的处理,并且严格不可丢弃。

  • 优雅降级:超过动态限制的流量峰值会自动降级到标准层进行处理,而不是失败,从而防止服务中断。

  • 低摩擦:使用相同的同步 create 方法作为标准层和 Flex 层。

使用案例 #

优先级处理非常适合性能和可靠性至关重要的业务关键型工作流程。

  • 交互式人工智能应用:客户服务聊天机器人和副驾驶,用户支付额外费用并期望快速、一致的响应。

  • 实时决策引擎:需要高度可靠、低延迟结果的系统,例如实时票证分类或欺诈检测。

  • 高级客户功能:需要为付费客户保证更高服务水平目标 (SLO) 的开发人员。

速率限制 #

优先消费有其自己的速率限制,即使消费被计入 总体交互流量限制。优先级推理的默认速率限制是 0.3x 型号/层级的标准速率限制

优雅的降级逻辑 #

如果由于拥塞而超出优先级限制,则溢出请求将被处理 自动且优雅地 降级到标准处理,而不是因 503 或 429 错误而失败。降级请求按标准费率计费,而不是优先费率。

客户责任 #

  • 反应监测:开发者应该监控 x-gemini-service-tier API 响应中的标头,用于检测请求是否经常降级为 standard.

  • 重试:客户端必须针对标准错误实现重试逻辑/指数退避,例如 DEADLINE_EXCEEDED.

价格 #

优先级推理的定价比 75-100 高 标准 API 并按 token 计费。

支持的模型 #

以下模型支持优先级推断:

后续步骤 #

搜索标题、API 名称或正文内容