Gemini Omni
返回文章列表
10 分钟阅读

Gemini 3.1 Flash Live API 指南：实时语音、摄像头与屏幕共享智能体

使用 Gemini 3.1 Flash Live 构建低延迟多模态智能体——WebSocket 架构、原生音频、1 FPS 摄像头/屏幕共享、工具调用、临时令牌，以及从 2.5 Flash Live 迁移。

Gemini Live APIGemini 3.1 Flash LiveReal-TimeVoice AgentsMultimodalDevelopers2026中文

2026 年 8 月为何关注 Gemini 3.1 Flash Live

Google 于 2026 年 3 月通过 Gemini Live API 发布 Gemini 3.1 Flash Live，到 8 月已成为生产级语音与视觉智能体的推荐模型。与批式 generateContent 不同，Live 维持持久 WebSocket 会话，双向流式传输音频、视频帧与文本——模型在一个原生管道中听、看、说，无需独立的语音转文字或文字转语音服务。

2026 年 8 月对开发者有三项实质变化：

  • 2.5 Flash Live 模型已弃用——Google 要求所有新项目使用 gemini-3.1-flash-live-preview。
  • 生态集成成熟——Stitch（设计评审）、Ato（老年陪伴）、Weekend RPG 等演示表明摄像头感知智能体已落地生产。
  • Live API 与 Gemini 3.7 Flash 并存——Live 负责亚秒级对话；3.7 Flash REST 负责深度编码与智能体推理（参见3.7 Flash 发布公告）。

本指南涵盖架构、音视频参数、部署模式，以及从 2.5 Flash Live 的迁移。

架构：WebSocket 会话，而非 REST

Live API 是有状态的。客户端通过 WSS 连接 generativelanguage.googleapis.com，首先发送 BidiGenerateContentSetup，然后持续流式发送 BidiGenerateContentRealtimeInput 直至会话关闭。

层级职责
传输有状态 WSS
Setup模型 ID、模态、系统指令、工具、VAD 配置
实时输入PCM 音频块、JPEG/PNG 视频帧（≤1 FPS）、内联文本
服务端输出PCM 音频（24 kHz）、转录、工具调用、思考元数据

两种部署拓扑：

  1. 服务端到服务端——后端代理客户端流。适合集中日志、限流或在可信基础设施上执行工具。
  2. 客户端到服务端——浏览器或移动端直连 Live API。麦克风/摄像头延迟更低；使用临时令牌而非暴露 API Key。

音频：原生端到端语音

Live API 音频为原始 PCM——线路上不使用 MP3 或 WAV 封装。

方向格式采样率
输入16 位 PCM，小端，单声道16 kHz 原生（API 可按需重采样）
输出16 位 PCM，小端固定 24 kHz

Web Audio API 捕获为 32 位浮点——发送前须转换为 PCM16。输出播放需在 24 kHz 缓冲并调度音频块。

语音活动检测（VAD） 默认处理话轮切换。可通过 realtime_input_config.automatic_activity_detection 配置灵敏度。Push-to-talk 场景可关闭自动 VAD，手动发送 activityStart / activityEnd。

视频：1 FPS 摄像头与屏幕共享

Gemini 3.1 Flash Live 以 JPEG/PNG 帧流接收视频，上限 每秒 1 帧，支持：

  • 前/后置摄像头——物体识别、环境问答、引导式任务
  • 屏幕共享——代码审查、设计评审（Stitch 演示）、无障碍辅助

成本提示： 3.1 Flash Live 默认 TURN_INCLUDES_AUDIO_ACTIVITY_AND_ALL_VIDEO，话轮内所有帧均计费。若持续推送屏幕视频，建议仅在检测到语音活动时发送帧。

限制： 1 FPS 不适合快速运动分析（如体育赛事）。离线审查请使用批式视频理解模型。

会话限制与扩展

会话类型默认限制扩展方式
纯音频15 分钟会话恢复 + 上下文压缩
音频 + 视频2 分钟同上

使用会话恢复令牌在网络断开后重连且不丢失上下文。GoAway 信号在服务端终止前预警——生产客户端须优雅处理。

工具调用与 Search grounding

Live 支持对话中的同步函数调用。模型发出 toolCall 后，在服务端执行函数并返回 BidiGenerateContentToolResponse，模型才继续。

预览版支持：自定义函数声明、Google Search grounding、代码执行（企业层）。

注意：3.1 Flash Live 不支持 2.5 的 behavior: NON_BLOCKING 异步工具——工具调用为顺序执行。

thinkingLevel 与多语言

3.1 Flash Live 使用 thinkingLevel（非 thinkingBudget）：

级别延迟场景
minimal最低（默认）实时对话、客服
low低简单工具路由
medium中等会话内多步推理
high较高通话中复杂视觉分析

模型支持 90+ 语言实时多模态对话——音调、语速与重音识别较 2.5 Flash Native Audio 显著提升。

安全：客户端应用的临时令牌

切勿在移动端或浏览器包中硬编码 API Key。Live API 支持临时令牌——由后端签发的短效凭证：客户端向你的鉴权端点请求 → 后端用主 Key 调用 Google 令牌 API → 客户端用临时令牌连接（分钟级 TTL）→ 会话结束令牌失效。

WebRTC 规模部署（全球边缘、电话）可参考 Google 合作伙伴集成：Fishjam、Stream Vision Agents、Voximplant 等，见 Live API 概览。

从 Gemini 2.5 Flash Live 迁移

已弃用模型替代
gemini-2.5-flash-native-audio-preview-12-2025gemini-3.1-flash-live-preview
gemini-live-2.5-flash-previewgemini-3.1-flash-live-preview
gemini-2.0-flash-live-001gemini-3.1-flash-live-preview

迁移清单：更新模型字符串；thinkingBudget 改为 thinkingLevel；会话中文本用 send_realtime_input；处理单事件多 part 输出；审查 turnCoverage 默认值；移除 proactive_audio 与 enable_affective_dialog。

3.1 Flash Live 与批式 Gemini 3.7 Flash

因素3.1 Flash Live3.7 Flash (REST)
协议WebSocket 流HTTP REST
延迟亚秒级首段音频快速模式 85 ms+ 首 token
输入音频 + 视频流 + 文本文本、图像、音频、视频文件
输出原生音频（+ 转录）文本（+ 可选音频）
上下文128K 会话窗口250 万 token
最佳场景语音智能体、实时辅导、屏幕辅助编码智能体、文档 RAG、批式分析

许多生产架构两者并用：Live 负责面向用户的语音层；3.7 Flash 处理后端推理、代码生成与长上下文检索。

快速开始

  1. 打开 Google AI Studio → 选择 Stream 交互测试 Live。
  2. 安装 SDK：pip install google-genai 或 npm install @google/genai。
  3. 阅读 Live API 能力指南。
  4. 探索 Gemini Live API Skill。

相关阅读