Gemini 中文指南
获取 API 密钥 ↗

Gemini Live API 概览

↓ 下载 MarkdownInteractions API

Live API 可与 Gemini 实现低延迟、实时语音和视觉交互。它处理连续的音频、图像和文本流,以提供即时、类似人类的语音响应,为用户创造自然的对话体验。

尝试 Google AI Studio 中的 Live API

从 GitHub 克隆示例应用程序

使用编码智能体技巧

使用案例 #

Live API可用于为多种行业构建实时语音智能体,包括:

  • 电子商务和零售: 购物助理提供个性化推荐并支持智能体解决客户问题。

  • 游戏: 交互式非玩家角色 (NPC)、游戏内帮助助手以及游戏内内容的实时翻译。

  • 下一代接口: 机器人、智能眼镜和车辆中支持语音和视频的体验。

  • 医疗保健: 为患者提供支持和教育的健康伙伴。

  • 金融服务: 用于财富管理和投资指导的人工智能顾问。

  • 教育程度: 提供个性化指导和反馈的人工智能导师和学习伙伴。

  • 翻译和本地化: 实时、低延迟的口语对话翻译,实现无缝的多语言沟通。

  • 实时转录和字幕: 实时语音到文本流,用于实时字幕、会议转录、语音听写和客户呼叫记录。

主要特点 #

Live API 提供了一套全面的功能来构建强大的语音智能体:

  • 多语言支持:用 70 支持的语言进行交谈。

  • 打断:用户可以随时中断模型以进行响应式交互。

  • 工具使用:集成函数调用和 Google 搜索等工具以进行动态交互。

  • 音频转录:提供用户输入和模型输出的文本记录。

  • 主动音频:让您控制模型何时响应以及在什么上下文中响应。

  • 情感对话:调整响应风格和语气以匹配用户的输入表达。

  • 实时转录:实时、连续的语音到文本流,具有自动语言检测和自定义词汇。

  • 实时翻译:70+ 语言的实时语音到语音翻译。

技术规格 #

下表概述了 Live API 的技术规格:

类别

详情

输入方式

音频(原始 16 位 PCM 音频,16kHz,小端)、图像 (JPEG <= 1FPS)、文本

输出方式

音频(原始 16 位 PCM 音频,24kHz,小端)

协议

有状态 WebSocket 连接 (WSS)

选择实施方法 #

与 Live API 集成时,您需要选择以下实现方法之一:

  • 服务器到服务器:您的后端使用以下方式连接到 Live API WebSocket。通常,您的客户端将流数据(音频、视频、文本)发送到服务器,然后服务器将其转发到 Live API。

  • 客户端到服务器:您的前端代码使用直接连接到 Live API WebSocket 绕过后端来传输数据。

快速入门 #

选择适合您的开发环境的指南:

合作伙伴集成 #

要简化实时音频和视频应用程序的开发,您可以使用支持基于 WebRTC 的 Gemini Live API 或 WebSocket 的第三方集成。

搜索标题、API 名称或正文内容