Gemini Live API 概览
Live API 可与 Gemini 实现低延迟、实时语音和视觉交互。它处理连续的音频、图像和文本流,以提供即时、类似人类的语音响应,为用户创造自然的对话体验。

尝试 Google AI Studio 中的 Live API
使用案例 #
Live API可用于为多种行业构建实时语音智能体,包括:
电子商务和零售: 购物助理提供个性化推荐并支持智能体解决客户问题。
游戏: 交互式非玩家角色 (NPC)、游戏内帮助助手以及游戏内内容的实时翻译。
下一代接口: 机器人、智能眼镜和车辆中支持语音和视频的体验。
医疗保健: 为患者提供支持和教育的健康伙伴。
金融服务: 用于财富管理和投资指导的人工智能顾问。
教育程度: 提供个性化指导和反馈的人工智能导师和学习伙伴。
翻译和本地化: 实时、低延迟的口语对话翻译,实现无缝的多语言沟通。
实时转录和字幕: 实时语音到文本流,用于实时字幕、会议转录、语音听写和客户呼叫记录。
主要特点 #
Live API 提供了一套全面的功能来构建强大的语音智能体:
多语言支持:用 70 支持的语言进行交谈。
打断:用户可以随时中断模型以进行响应式交互。
工具使用:集成函数调用和 Google 搜索等工具以进行动态交互。
音频转录:提供用户输入和模型输出的文本记录。
主动音频:让您控制模型何时响应以及在什么上下文中响应。
情感对话:调整响应风格和语气以匹配用户的输入表达。
实时转录:实时、连续的语音到文本流,具有自动语言检测和自定义词汇。
实时翻译:70+ 语言的实时语音到语音翻译。
技术规格 #
下表概述了 Live API 的技术规格:
类别 | 详情 |
|---|---|
输入方式 | 音频(原始 16 位 PCM 音频,16kHz,小端)、图像 (JPEG <= 1FPS)、文本 |
输出方式 | 音频(原始 16 位 PCM 音频,24kHz,小端) |
协议 | 有状态 WebSocket 连接 (WSS) |
选择实施方法 #
与 Live API 集成时,您需要选择以下实现方法之一:
服务器到服务器:您的后端使用以下方式连接到 Live API WebSocket。通常,您的客户端将流数据(音频、视频、文本)发送到服务器,然后服务器将其转发到 Live API。
客户端到服务器:您的前端代码使用直接连接到 Live API WebSocket 绕过后端来传输数据。
快速入门 #
选择适合您的开发环境的指南:
GenAI SDK教程
使用 GenAI SDK 连接到 Gemini Live API 以构建具有 Python 后端的实时多模态应用程序。
Client-to-serverWebSocket教程
使用 WebSocket 连接到 Gemini Live API 以构建具有 JavaScript 前端和临时性的实时多模态应用程序 token。
Agent Development KitADK教程
创建智能体并使用智能体开发套件 (ADK) 流式传输以实现语音和视频通信。
合作伙伴集成 #
要简化实时音频和视频应用程序的开发,您可以使用支持基于 WebRTC 的 Gemini Live API 或 WebSocket 的第三方集成。