Gemini 3.1 Flash Live API 가이드: 실시간 음성·카메라·화면 공유 에이전트
Gemini 3.1 Flash Live로 저지연 멀티모달 에이전트 구축 — WebSocket 아키텍처, 네이티브 오디오, 1 FPS 카메라/화면 공유, 도구 호출, 임시 토큰, 2.5 Flash Live 마이그레이션.
2026년 8월 Gemini 3.1 Flash Live가 중요한 이유
Google은 2026년 3월 Gemini Live API로 Gemini 3.1 Flash Live를 출시했으며, 8월 기준 프로덕션 음성·비전 에이전트의 권장 모델입니다. 배치 generateContent와 달리 Live는 영구 WebSocket 세션으로 오디오·비디오 프레임·텍스트를 양방향 스트리밍 — 별도 STT/TTS 없이 듣고·보고·말합니다.
2026년 8월 빌더에게 세 가지 변화:
- 2.5 Flash Live 사용 중단 —
gemini-3.1-flash-live-preview로 전환. - 생태계 성숙 — Stitch, Ato, Weekend RPG 등 카메라 인식 에이전트 상용화.
- Live API + Gemini 3.7 Flash 공존 — Live는 서브초 대화, 3.7 Flash REST는 코딩·추론(3.7 Flash 발표).
아키텍처: REST가 아닌 WebSocket
Live API는 상태ful입니다. WSS 연결 후 BidiGenerateContentSetup, 이어 BidiGenerateContentRealtimeInput 스트림.
| 계층 | 역할 |
|---|---|
| 전송 | 상태ful WSS |
| Setup | 모델 ID, 모달리티, 시스템 지시, 도구, VAD |
| 실시간 입력 | PCM 청크, JPEG/PNG(≤1 FPS), 텍스트 |
| 출력 | PCM 24 kHz, 전사, 도구 호출 |
서버-서버 vs 클라이언트-서버( 임시 토큰 필수).
오디오: 네이티브 E2E 음성
입력 16-bit PCM 16 kHz, 출력 24 kHz. Web Audio float32 → PCM16 변환 필요. VAD 기본 턴 관리.
비디오: 1 FPS 카메라·화면 공유
JPEG/PNG 프레임, 초당 1프레임. 코드 리뷰·디자인 비평(Stitch) 지원. TURN_INCLUDES_AUDIO_ACTIVITY_AND_ALL_VIDEO 기본 — 비용 절감 시 발화 시에만 프레임 전송.
세션 제한
| 유형 | 한도 |
|---|---|
| 오디오만 | 15분 |
| 오디오+비디오 | 2분 |
세션 재개·GoAway 처리 필수.
도구 호출
동기 function calling, Search grounding. 3.1은 NON_BLOCKING 미지원.
thinkingLevel·90+ 언어
minimal(기본)~ high. 90개 이상 언어 실시간 멀티모달.
보안
클라이언트에 API 키 금지 — 임시 토큰 백엔드 발급.
2.5 마이그레이션
모델 ID, thinkingLevel, send_realtime_input, 다중 part 이벤트, turnCoverage 검토.
3.1 Live vs 3.7 REST
Live: WebSocket·음성 에이전트. 3.7: REST·코딩·RAG·250만 토큰.