La inteligencia artificial de voz es cada vez más fundamental en las interacciones digitales modernas, donde los usuarios esperan una conversación fluida y natural. OpenAI, responsable de ChatGPT y otras soluciones innovadoras, enfrenta el gran desafío de lograr que sus sistemas de voz funcionen con baja latencia a escala global. En este artículo, exploramos en detalle cómo han rediseñado su infraestructura para potenciar la experiencia del usuario sin sacrificar la velocidad ni la calidad.
La clave para que la voz IA resulte realmente útil es que las respuestas sean inmediatas, imitándose la dinámica humana. Cualquier retraso o interrupción —por breve que sea— puede transformar una conversación en una experiencia incómoda. Esto es especialmente relevante en ambientes donde la IA se utiliza en tiempo real, desde la interacción con ChatGPT hasta aplicaciones desarrolladas por terceros o flujos de trabajo interactivos en los que los modelos deben procesar audio mientras la persona aún está hablando.
Para OpenAI, mantener la naturalidad en el diálogo implica satisfacer tres requisitos críticos: un alcance global (más de 900 millones de usuarios activos por semana), una conexión casi instantánea y un tiempo de ida y vuelta del audio extremadamente bajo. Además, todo debe funcionar de forma estable y consistente, evitando variaciones, pérdidas de paquetes o jitter que puedan interrumpir el flujo conversacional.
La base tecnológica detrás de esta experiencia es WebRTC, un estándar abierto para la transmisión en tiempo real de audio, video y datos entre navegadores, aplicaciones móviles y servidores. Aunque muchos identifican WebRTC con videollamadas entre pares, en realidad es una plataforma robusta para cualquier sistema que requiera conexiones de baja latencia. Sus componentes clave —como ICE (establecimiento de conectividad), DTLS/SRTP (transporte seguro), negociación de codecs y control de calidad— hacen posible que las aplicaciones de IA aprovechen capacidades multimedia avanzadas sin reinventar soluciones para complejidades como NAT o cifrado.
Uno de los grandes beneficios de WebRTC es su ecosistema maduro, con implementaciones de código abierto confiables y una amplia adopción en navegadores y móviles. Esto les permitió a los equipos de OpenAI construir soluciones personalizadas aprovechando la experiencia de figuras reconocidas en la comunidad, como Justin Uberti y Sean DuBois, quienes ahora contribuyen directamente a la infraestructura de OpenAI. Gracias a esta base, los ingenieros pueden enfocarse en aspectos diferenciadores como la integración del flujo de medios en tiempo real con los modelos de IA.
Una decisión crucial para lograr baja latencia fue determinar dónde finalizar la conexión WebRTC y cómo conectar esas sesiones al backend de inferencia. OpenAI optó por una arquitectura transceiver, distinta del popular modelo SFU (Selective Forwarding Unit) usado en videollamadas grupales. Mientras que el SFU es ideal para escenarios multiparte, la mayoría de los flujos de OpenAI son 1:1 (un usuario con un modelo), donde cada milisegundo cuenta. En el modelo transceiver, un servicio especializado se encarga de la sesión WebRTC y traduce el flujo de medios a protocolos internos más sencillos para procesamiento, transcripción, generación de voz y otras funciones.
La implementación inicial de este transceptor estuvo basada en Go y Pion, y provee la columna vertebral de ChatGPT voice y la Realtime API. Su función es medular: negociar la configuración de la sesión, seleccionar codecs, manejar credenciales y gestionar la terminación de las conexiones para asegurar una experiencia óptima desde el frontend hasta el backend.
La migración a esta arquitectura planteó un reto: hacer funcionar muchas sesiones WebRTC en paralelo sobre infraestructura moderna basada en Kubernetes. Tradicionalmente, cada sesión WebRTC exige un puerto UDP independiente, lo cual escala mal en entornos orquestados como Kubernetes, que no están diseñados para exponer decenas de miles de puertos por servicio. OpenAI abordó este obstáculo redefiniendo el encaminamiento interno y mejorando la administración del estado de las sesiones, a fin de reducir el rango de puertos expuestos y facilitar la escalabilidad y la seguridad sin renunciar a la velocidad ni la confiabilidad.
Este rediseño ha permitido que OpenAI entregue IA de voz en tiempo real a nivel masivo, minimizando la latencia sin importar la ubicación del usuario o la magnitud de la demanda. Además, los cimientos sentados por esta arquitectura facilitan futuras innovaciones: los desarrolladores pueden aprovechar la capa WebRTC para construir productos conversacionales más intuitivos, mientras que la infraestructura subyacente está preparada para adaptar nuevas funciones, integrar herramientas y soportar multiusuario sin perder la eficiencia.
El caso de OpenAI ilustra cómo la innovación técnica —en estándares abiertos, modelos de operación y diseño de redes— puede transformar radicalmente la experiencia del usuario y abrir puertas a nuevas aplicaciones de la inteligencia artificial conversacional. Si buscas entender cómo se impulsa la próxima generación de asistentes de voz y agentes interactivos, el avance de OpenAI en baja latencia y escalabilidad es una referencia obligada.
Fuente original: Ver artículo completo
