Gemini Robotics ER
Gemini Robotics ER(具身推理)模型是视觉语言模型 (VLM),可让机器人感知物理世界并与之交互。他们解释视觉数据,执行空间和时间推理,规划多步骤任务,并协调机器人和工具。
模型 #
Gemini Robotics ER 2 型号是 Gemini Robotics 的最新型号。我们更新的推理模型使机器人能够准确地理解其环境。它专注于具身推理能力,例如机器人的智能体编排(例如使用 VLA)、机器人视频理解(包括进度理解和成功检测)、仪器读取、指向和空间推理。
Gemini Robotics ER 2 模型引入了两个模型端点:
gemini-robotics-er-2-preview:标准 ER 2 型号。基于 Gemini 3.5 Flash 构建,改进了空间推理、视频时刻查找、视频进度分类、多机器人编排和多步骤工具使用。gemini-robotics-er-2-streaming-preview:使用以下方式针对实时流进行优化 Live API。将此模型用于处理连续音频和视频输入的低延迟机器人智能体。
Gemini Robotics ER 1.6 是 已于 8 月弃用 31, 2026。如果您仍在使用 Gemini Robotics ER 1.6,请通过替换升级到 Gemini Robotics ER 2 model="gemini-robotics-er-1.6-preview" 使用 model="gemini-robotics-er-2-preview" 或 model="gemini-robotics-er-2-streaming-preview" 在您的 API 呼叫中。
在 Google AI Studio 中尝试 Gemini Robotics ER 2
机器人能力 #
Gemini Robotics ER 支持一系列具身推理功能。选择一项功能以了解更多信息:
能力 | 说明 | 指南 |
|---|---|---|
空间推理 | 指向物体,在视频中跟踪它们,使用边界框进行检测,规划轨迹。 | |
智能体视觉 | 通过利用图像处理工具,使用代码执行来增强其他功能。 | |
任务编排 | 将空间推理与自定义机器人 API 相结合,以完成长期任务。 | |
流式传输(仅限 Gemini Robotics ER 2 流式传输端点) | 具有低延迟函数调用的实时机器人智能体的双向流。 | |
视频进度(仅限 Gemini Robotics ER 2) | 从连续视频源中查找时刻并进行进度分类。 |
开始之前 #
Gemini Robotics ER 型号可通过 Gemini 开发者 API。首先,创建一个 Gemini API 密钥 从 Google AI Studio 或 Google Cloud控制台, 和 设置您的环境.
有关密钥类型、安全性以及如何使用 Python、JavaScript 和其他语言配置密钥的详细信息,请参阅 使用 Gemini API 密钥.
快速入门 #
以下示例查找图像中的对象并返回其标准化的 2D 坐标和标签。您可以将此输出直接传递到机器人 API 或 VLA 模型以生成机器人动作。
from google import genai
from google.genai import types
PROMPT = """
Point to no more than 10 items in the image. The label returned
should be an identifying name for the object detected.
The answer should follow the json format: [{"point": <point>,
"label": <label1>}, ...]. The points are in [y, x] format
normalized to 0-1000.
"""
client = genai.Client()
uploaded_file = client.files.upload(file="my-image.png")
response = client.models.generate_content(
model="gemini-robotics-er-2-preview",
contents=[
types.Part.from_uri(
file_uri=uploaded_file.uri,
mime_type=uploaded_file.mime_type
),
PROMPT
],
config=types.GenerateContentConfig(
thinking_config=types.ThinkingConfig(thinking_level="high")
),
)
print(response.text)
# First, ensure you have the image file locally.
# Encode the image to base64
IMAGE_BASE64=$(base64 -w 0 my-image.png)
curl -X POST \
"https://generativelanguage.googleapis.com/v1beta/models/gemini-robotics-er-2-preview:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"contents": [
{
"parts": [
{
"inlineData": {
"mimeType": "image/png",
"data": "'"${IMAGE_BASE64}"'"
}
},
{
"text": "Point to no more than 10 items in the image. The label returned should be an identifying name for the object detected. The answer should follow the json format: [{\"point\": [y, x], \"label\": <label1>}, ...]. The points are in [y, x] format normalized to 0-1000."
}
]
}
],
"generationConfig": {
"thinkingConfig": {
"thinkingLevel": "high"
}
}
}'
输出将是一个包含对象的 JSON 数组,每个对象都有一个 point (归一化 [y, x] 坐标)和一个 label 识别对象。
[
{"point": [376, 508], "label": "small banana"},
{"point": [287, 609], "label": "larger banana"},
{"point": [223, 303], "label": "pink starfruit"},
{"point": [435, 172], "label": "paper bag"},
{"point": [270, 786], "label": "green plastic bowl"},
{"point": [488, 775], "label": "metal measuring cup"},
{"point": [673, 580], "label": "dark blue bowl"},
{"point": [471, 353], "label": "light blue bowl"},
{"point": [492, 497], "label": "bread"},
{"point": [525, 429], "label": "lime"}
]
下图是如何显示这些点的示例:

它是如何运作的 #
Gemini Robotics ER 通过自然语言提示获取图像、视频或音频输入。它识别对象、场景上下文和空间关系的原因,并返回结构化输出,例如坐标或边界框。
Gemini Robotics ER 也是智能体的:它将复杂的任务分解为子任务,并通过调用机器人功能或运行生成的代码来执行它们。例如,“将苹果放入碗中”变成一系列定位、抓取和放置步骤。
参见 函数调用 有关 Gemini 如何执行工具调用的详细信息。
安全 #
虽然 Gemini Robotics ER 的设计考虑了安全性,但您有责任维护机器人周围的安全环境。生成式人工智能模型可能会犯错误,而物理机器人可能会造成损坏。要了解更多信息,请访问 Gemini 机器人安全页面.
最佳实践 #
使用简单、自然的语言。描述您希望机器人像对人一样做什么。如果某个术语不起作用,请尝试使用常见的同义词。
优化视觉输入。在发送图像之前裁剪或放大小或不清晰的对象。照明和低颜色对比度会影响检测。
将复杂的任务分解为步骤。将每个步骤作为单独的提示发送,以保持模型的重点并提高准确性。
多次查询并平均结果以实现高精度任务。这种共识方法减少了空间输出的方差。
限制 #
使用 Gemini Robotics ER 进行开发时请考虑以下限制:
- API 密钥限制: Gemini API不接受来自不受限制的API 密钥的请求,并返回
403 Forbidden错误。通过添加限制来保护您的 API 密钥 人工智能工作室。参见 安全无限制 API 密钥 了解详情。 - 延迟与性能: 复杂的查询、高分辨率的输入或高思维水平可能会导致处理时间增加。对于思维级别,请使用介质来在延迟和性能之间取得良好的平衡。
- 幻觉: 与所有大型语言模型一样,Gemini Robotics ER 模型偶尔会出现“幻觉”或提供不正确的信息,特别是对于不明确的提示或超出分布的输入。
- 对提示质量的依赖: 输出质量取决于输入提示的清晰度。使用具体的、结构良好的提示。
- 计算成本: 运行模型,特别是在视频输入或高
thinking_budget,消耗计算资源并产生成本。请参阅 思考 页面了解更多详情。 - 输入类型: 有关每种模式的限制的详细信息,请参阅以下主题。 * 图像输入
- 视频输入
- 音频输入
隐私声明 #
您承认本文档中引用的模型(“机器人模型”)利用视频和音频数据,以便根据您的指示操作和移动您的硬件。因此,您可以操作机器人模型,以便机器人模型收集可识别人员的数据,例如语音、图像和肖像数据(“个人数据”)。如果您选择以收集个人数据的方式操作机器人模型,则您同意您不会允许任何可识别人员与机器人模型交互或出现在机器人模型周围区域,除非此类可识别人员已充分通知并同意其个人数据可能会提供给 Google 并由 Google 使用(如 Gemini API 附加服务条款中所述)。 https://aistudio.google.com/docs/terms (“条款”),包括按照标题为“Google 如何使用您的数据”的部分。您将确保此类通知允许按照条款中所述收集和使用个人数据,并且您将尽商业上合理的努力,通过使用面部模糊和在可行的范围内不包含可识别人员的区域操作机器人模型等技术,最大限度地减少个人数据的收集和分发。
价格 #
有关定价和可用区域的详细信息,请参阅 定价 页。