J'ai passé quelques semaines à construire un agent vocal IA qui tourne dans le navigateur.
Des plateformes comme Vapi font déjà ça très bien. Mon but n'était pas de réinventer la roue, c'était d'apprendre sous le capot.
Fonctionnalités
👉 Conversation vocale en temps réel via WebSocket.
👉 Barge-in : tu peux interrompre l'agent en plein milieu d'une phrase.
👉 Streaming TTS phrase par phrase pour réduire la latence au premier mot.
👉 Écosystème d'outils : recherche web, calendrier, contacts.
👉 Architecture hexagonale côté backend — les providers (STT, TTS, LLM) sont interchangeables.
Stack
- Frontend : React 19, Vite, Tailwind CSS v4, shadcn/ui
- Backend : Node.js, Hono, Vercel AI SDK
- STT : Deepgram / Groq Whisper / OpenAI Whisper
- TTS : OpenAI / Cartesia / ElevenLabs
- LLM : OpenAI / Anthropic
- Monorepo : Turborepo + pnpm workspaces