Gemini 中文指南
获取 API 密钥 ↗

使用 Lyria RealTime 实时生成音乐

↓ 下载 MarkdownInteractions API

Gemini API,使用 Lyria Realtime,提供对最先进的实时流媒体音乐生成模型的访问。它允许开发人员构建应用程序,用户可以在其中交互地创作、持续引导和演奏器乐。

Lyria Realtime 音乐生成使用持久、双向、低延迟的流连接 WebSocket.

要体验使用 Lyria Realtime 可以构建的内容,请使用 AI Studio 进行尝试 提示 DJ 或 MIDI DJ 应用程序。

生成和控制音乐 #

Lyria Realtime 的工作原理与 多式联运 Live API 因为它使用 Websockets 来保持与模型的实时通信。

以下代码演示了如何生成音乐:

此示例使用以下命令初始化 Lyria Realtime 会话 client.aio.live.music.connect(),然后发送初始提示 session.set_weighted_prompts() 以及使用的初始配置 session.set_music_generation_config,使用开始音乐生成 session.play() 并设置 receive_audio() 处理它接收到的音频块。

python
  import asyncio
  from google import genai
  from google.genai import types

  client = genai.Client(http_options={'api_version': 'v1beta'})

  async def main():
      async def receive_audio(session):
        """Example background task to process incoming audio."""
        while True:
          async for message in session.receive():
            audio_data = message.server_content.audio_chunks[0].data
            # Process audio...
            await asyncio.sleep(10**-12)

      async with (
        client.aio.live.music.connect(model='models/lyria-realtime-exp') as session,
        asyncio.TaskGroup() as tg,
      ):
        # Set up task to receive server messages.
        tg.create_task(receive_audio(session))

        # Send initial prompts and config
        await session.set_weighted_prompts(
          prompts=[
            types.WeightedPrompt(text='minimal techno', weight=1.0),
          ]
        )
        await session.set_music_generation_config(
          config=types.LiveMusicGenerationConfig(bpm=90, temperature=1.0)
        )

        # Start streaming music
        await session.play()
  if __name__ == "__main__":
      asyncio.run(main())

目标:有关更完整的代码示例,请参阅 Lyria RealTime - 开始 食谱存储库中的文件。

实时控制音乐 #

您可以通过发送提示和实时更新生成参数来实时引导音乐生成。

提示 Lyria Realtime #

当流处于活动状态时,您可以发送新的 WeightedPrompt 随时更改生成的音乐的消息。该模型将根据新的输入平稳过渡。

提示需要遵循正确的格式并带有 text (实际的提示),以及 weight。的 weight 可以取任何值,除了 0. 1.0 通常是一个很好的起点。

python
  from google.genai import types

  await session.set_weighted_prompts(
    prompts=[
      {"text": "Piano", "weight": 2.0},
      types.WeightedPrompt(text="Meditation", weight=0.5),
      types.WeightedPrompt(text="Live Performance", weight=1.0),
    ]
  )

更新配置 #

您可以通过实时更新音乐生成参数来控制音乐生成。您不能只更新一个参数,您需要设置整个配置,否则其他字段将重置回默认值。

由于更新 bpm 或比例对模型来说是一个巨大的变化,因此您还需要告诉它使用以下命令重置其上下文 reset_context() 考虑新的配置。它不会停止直播,但这将是一个艰难的过渡。您不需要对其他参数执行此操作。

python
  from google.genai import types

  await session.set_music_generation_config(
    config=types.LiveMusicGenerationConfig(
      bpm=128,
      scale=types.Scale.D_MAJOR_B_MINOR,
      music_generation_mode=types.MusicGenerationMode.QUALITY
    )
  )
  await session.reset_context();

提示Lyria RealTime #

Lyria RealTime 使用加权提示动态地混合音乐流派、乐器和情绪。要探索提示引导策略、关键字标签词汇和完整的提示示例,请参阅 Lyria 提示指南.

最佳实践 #

  • 客户端应用程序必须实现强大的音频缓冲以确保流畅播放。这有助于解决网络抖动和生成延迟的轻微变化。
  • 有效的提示: * 具有描述性。使用形容词来描述情绪、流派和乐器。
    • 逐步迭代和引导。不要完全改变提示,而是尝试添加或修改元素以使音乐更流畅地变化。
    • 尝试负重 WeightedPrompt 影响新提示对下一代的影响程度。

技术细节 #

本节详细介绍如何使用Lyria Realtime音乐生成。

规格 #

  • 输出格式:原始16位PCM音频
  • 采样率:48kHz
  • 通道:2(立体声)

控制 #

可以通过发送包含以下内容的消息来实时影响音乐生成:

  • WeightedPrompt:描述音乐理念、流派、乐器、情绪或特征的文本字符串。可以提供多个提示来混合影响。参见 上面 有关如何最好地提示 Lyria Realtime 的更多详细信息。

  • MusicGenerationConfig:音乐生成过程的配置,影响输出音频的特性。)。参数包括:* guidance:(浮点数)范围: [0.0, 6.0]。默认值: 4.0。控制模型遵循提示的严格程度。更高的指导可以提高对提示的遵守程度,但也会使过渡更加突然。

    • bpm:(整数)范围: [60, 200]。设置生成音乐所需的每分钟节拍数。您需要停止/播放或重置模型的上下文,以考虑新的 bpm。
    • density:(浮点数)范围: [0.0, 1.0]。控制音符/声音的密度。较低的值会产生较稀疏的音乐;较高的值会产生“更繁忙”的音乐。
    • brightness:(浮点数)范围: [0.0, 1.0]。调整音质。较高的值会产生“更明亮”的声音音频,通常强调更高的频率。
    • scale:(枚举)设置生成的音阶(调和模式)。使用 Scale 枚举值 由 SDK 提供。您需要停止/播放或重置模型的上下文,以考虑新的比例。
    • mute_bass:(布尔)默认值: False。控制模型是否降低输出的低音。
    • mute_drums:(布尔)默认值: False。控制模型输出是否减少输出的鼓声。
    • only_bass_and_drums:(布尔)默认值: False。引导模型尝试仅输出低音和鼓。
    • music_generation_mode:(枚举)指示模型是否应该关注 QUALITY (默认值)或 DIVERSITY 的音乐。也可以设置为 VOCALIZATION 让模型作为另一种乐器生成发声(将它们添加为新的提示)。
  • PlaybackControl:控制播放方面的命令,例如播放、暂停、停止或重置上下文。

对于 bpm, density, brightness 和 scale,如果未提供任何值,模型将根据您的初始提示决定最好的选择。

更经典的参数,例如 temperature (0.0 到 3.0, 默认为 1.1), top_k (1 到 1000, 默认为 40),以及 seed (默认随机选择0到2 147 483 647,)也可以在 MusicGenerationConfig.

缩放枚举值 #

以下是模型可以接受的所有比例值:

枚举值音阶/调
C_MAJOR_A_MINORC大调/A小调
D_FLAT_MAJOR_B_FLAT_MINORD♭ 大调 / B♭ 小调
D_MAJOR_B_MINORD大调/B小调
E_FLAT_MAJOR_C_MINORE♭ 大调 / C 小调
E_MAJOR_D_FLAT_MINORE 大调 / C♯/D♭ 小调
F_MAJOR_D_MINORF大调/D小调
G_FLAT_MAJOR_E_FLAT_MINORG♭ 大调 / E♭ 小调
G_MAJOR_E_MINORG大调/E小调
A_FLAT_MAJOR_F_MINORA♭ 大调 / F 小调
A_MAJOR_G_FLAT_MINORA大调/F♯/G♭小调
B_FLAT_MAJOR_G_MINORB♭ 大调 / G 小调
B_MAJOR_A_FLAT_MINORB 大调 / G♯/A♭ 小调
SCALE_UNSPECIFIED默认/型号决定

该模型能够指导演奏的音符,但不区分相关的键。因此,每个枚举都对应于相对的主要和次要。例如, C_MAJOR_A_MINOR 将对应于钢琴的所有白键,并且 F_MAJOR_D_MINOR 将是除降 B 之外的所有白键。

限制 #

  • 仅乐器:模型仅生成乐器音乐。
  • 安全:通过安全过滤器检查提示。触发过滤器的提示将被忽略,在这种情况下,将在输出中写入解释 filtered_prompt 场。
  • 水印:输出音频始终带有水印,以便按照我们的要求进行识别 负责任的人工智能 原则。

后续步骤 #

探索 食谱 了解更多代码示例和教程。

搜索标题、API 名称或正文内容