Gemini 中文指南
获取 API 密钥 ↗

图像理解

↓ 下载 Markdown

Gemini 模型从一开始就被构建为多模态,可解锁广泛的图像处理和计算机视觉任务,包括但不限于图像字幕、分类和视觉问答,而无需训练专门的 ML 模型。

除了一般的多式联运功能外,Gemini 型号还提供 提高准确性 对于特定的用例,例如 物体检测 和 细分,通过额外的培训。

将图像传递给 Gemini #

您可以使用多种方法提供图像作为 Gemini 的输入:

使用 URL 传递图像 #

您可以使用以下方式上传图像 Files API 并将其传递到请求中:

python
from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="path/to/organ.jpg")

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input=[
        {"type": "text", "text": "Caption this image."},
        {
            "type": "image",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        }
    ]
)
print(interaction.output_text)

传递内联图像数据 #

您可以以 base64 编码字符串的形式提供图像数据:

python
import base64
from google import genai

with open('path/to/small-sample.jpg', 'rb') as f:
    image_bytes = f.read()

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input=[
        {"type": "text", "text": "Caption this image."},
        {
            "type": "image",
            "data": base64.b64encode(image_bytes).decode('utf-8'),
            "mime_type": "image/jpeg"
        }
    ]
)
print(interaction.output_text)

使用文件 API 上传图像 #

对于大文件或能够重复使用相同的图像文件,请使用 Files API。请参阅 Files API指南.

python
from google import genai

client = genai.Client()

my_file = client.files.upload(file="path/to/sample.jpg")

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input=[
        {"type": "text", "text": "Caption this image."},
        {
            "type": "image",
            "uri": my_file.uri,
            "mime_type": my_file.mime_type
        }
    ]
)
print(interaction.output_text)

使用多个图像进行提示 #

您可以通过在单个提示中包含多个图像对象来提供多个图像 input 数组:

python
from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input=[
        {"type": "text", "text": "What is different between these two images?"},
        {
            "type": "image",
            "uri": "https://example.com/image1.jpg",
            "mime_type": "image/jpeg"
        },
        {
            "type": "image",
            "uri": "https://example.com/image2.jpg",
            "mime_type": "image/jpeg"
        }
    ]
)
print(interaction.output_text)

物体检测 #

模型经过训练可以检测图像中的对象并获取其边界框坐标。相对于图像尺寸的坐标缩放为 [0, 1000]。您需要根据原始图像大小对这些坐标进行缩放。

python
from google import genai
from pydantic import BaseModel, Field
from typing import List
import json

client = genai.Client()
prompt = "Detect the all of the prominent items in the image. The box_2d should be [ymin, xmin, ymax, xmax] normalized to 0-1000."

class BoundingBox(BaseModel):
    box_2d: List[int] = Field(description="The 2D bounding box of the item as [ymin, xmin, ymax, xmax] normalized to 0-1000.")
    mask: List[List[int]] = Field(description="The segmentation mask of the item as a polygon of [x,y] coordinates, normalized to 0-1000.")
    label: str = Field(description="A descriptive label for the item.")

class BoundingBoxes(BaseModel):
    boxes: List[BoundingBox]

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input=[
        {"type": "text", "text": prompt},
        {
            "type": "image",
            "uri": "https://example.com/image.png",
            "mime_type": "image/png"
        }
    ],
    response_format={
        "type": "text",
        "mime_type": "application/json",
        "schema": BoundingBoxes.model_json_schema()
    }
)

bounding_boxes = BoundingBoxes.model_validate_json(interaction.output_text)
print(bounding_boxes)

有关更多示例,请查看以下笔记本 Gemini Cookbook:

细分 #

从 Gemini 开始,2.5, 模型不仅可以检测物品,还可以对其进行分割并提供其轮廓掩模。

该模型预测一个 JSON 列表,其中每个项目代表一个分段掩码。每个项目都有一个边界框(“box_2d") 的格式 [y0, x0, y1, x1] 0 和 1000, 之间的标准化坐标为标签(“label") 标识对象,最后是边界框内的分割掩码,作为 base64 编码的 png,它是值在 0 和 255. 之间的概率图

python
from google import genai
from pydantic import BaseModel, Field
from typing import List
import json

client = genai.Client()

prompt = """
Give the segmentation masks for the wooden and glass items.
Output a JSON list of segmentation masks where each entry contains the 2D
bounding box in the key "box_2d", the segmentation mask in key "mask", and
the text label in the key "label". Use descriptive labels.
"""

class BoundingBox(BaseModel):
    box_2d: List[int] = Field(description="The 2D bounding box of the item as [ymin, xmin, ymax, xmax] normalized to 0-1000.")
    mask: List[List[int]] = Field(description="The segmentation mask of the item as a polygon of [x,y] coordinates, normalized to 0-1000.")
    label: str = Field(description="A descriptive label for the item.")

class BoundingBoxes(BaseModel):
    boxes: List[BoundingBox]

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input=[
        {"type": "text", "text": prompt},
        {
            "type": "image",
            "uri": "https://example.com/image.png",
            "mime_type": "image/png"
        }
    ],
    response_format={
        "type": "text",
        "mime_type": "application/json",
        "schema": BoundingBoxes.model_json_schema()
    },
    generation_config={
        "thinking_level": "high"
    }
)

items = BoundingBoxes.model_validate_json(interaction.output_text)
print("Segmentation results:", items)

一张放有纸杯蛋糕的桌子,突出显示了木制和玻璃物品## 支持的图像格式

Gemini 支持以下图像格式 MIME 类型:

  • PNG- image/png
  • JPEG- image/jpeg
  • WEBP- image/webp
  • HEIC- image/heic
  • 海夫- image/heif

要了解其他文件输入方法,请参阅 文件输入方式 指导。

功能 #

所有 Gemini 模型版本都是多模态的,可用于广泛的图像处理和计算机视觉任务,包括但不限于图像字幕、视觉问答、图像分类、对象检测和分割。

Gemini 可以根据您的质量和性能要求减少使用专门的 ML 模型的需要。

最新的模型版本经过专门训练,除了通用功能之外,还提高了专门任务的准确性,例如增强型 物体检测 和 细分.

限制和关键技术信息 #

文件限制 #

Gemini 型号每个请求最多支持 3,600 图像文件。

代币计算 #

  • 258 token 如果两个尺寸 <= 384 像素。较大的图像被平铺为 768x768 像素图块,每个图块的成本为 258 token。

计算图块数量的粗略公式如下:

  • 计算作物单位大小,大致为: floor(min(width, height) / 1.5).
  • 将每个尺寸除以作物单位大小并相乘即可得到图块的数量。

例如,对于尺寸为 960x540 的图像,裁剪单位大小为 360. 将每个尺寸除以 360,平铺数量为 3 * 2 = 6.

媒体分辨率 #

Gemini 3 引入了对多模态视觉处理的精细控制 media_resolution 参数。的 media_resolution 参数决定了 每个输入图像或视频帧分配的 token 的最大数量。 更高的分辨率可以提高模型读取精细文本或识别小细节的能力,但会增加 token 的使用率和延迟。

提示和最佳实践 #

  • 验证图像是否正确旋转。
  • 使用清晰、不模糊的图像。
  • 当使用带有文本的单个图像时,放置文本提示 之前 中的图像 input 数组。

后续步骤 #

本指南向您展示如何上传图像文件并从图像输入生成文本输出。要了解更多信息,请参阅以下资源:

  • Files API:了解有关上传和管理用于 Gemini 的文件的更多信息。

  • 系统指令:系统指令可让您根据您的特定需求和用例来控制模型的行为。

  • 文件提示策略:Gemini API 支持文字、图片、音频、视频数据提示,也称为多模态提示。

  • 安全指导:有时生成式人工智能模型会产生意想不到的输出,例如不准确、有偏见或令人反感的输出。后处理和人工评估对于限制此类输出造成的危害风险至关重要。

搜索标题、API 名称或正文内容