OpenAI lleva GPT-Live-1 a la API: una IA de voz que escucha mientras habla y delega tareas a Astra

OpenAI lleva GPT-Live-1 a la API: una IA de voz que escucha mientras habla y delega tareas a Astra

GPT-Live-1 permite construir agentes que escuchan y hablan simultáneamente, toleran interrupciones y silencios y pueden recurrir a GPT-6 Astra, Codex u otros modelos para realizar tareas complejas sin romper la conversación.

OpenAI lanzó este 10 de septiembre GPT-Live-1 en su API, un modelo especializado en conversaciones de voz en tiempo real que puede escuchar mientras habla, interpretar interrupciones, pausas y cambios de dirección y, al mismo tiempo, delegar tareas de razonamiento o uso de herramientas a otros modelos.

La diferencia parece pequeña hasta que se observa cómo funcionan la mayoría de los asistentes de voz actuales. Tradicionalmente, una aplicación convierte primero la voz del usuario en texto, envía esa transcripción a un modelo de lenguaje y posteriormente convierte su respuesta nuevamente en audio. OpenAI describe esta arquitectura como una cadena de reconocimiento de voz, modelo de lenguaje y síntesis de voz: STT, LLM y TTS, en la que cada relevo introduce latencia y puede perder información sobre el ritmo de una conversación.

GPT-Live-1 concentra la escucha y la producción de voz en un solo modelo. Esto permite una interacción denominada full duplex: el sistema puede procesar el audio que recibe mientras todavía está generando el suyo. En términos prácticos, una persona puede interrumpir al agente a mitad de una respuesta, corregirse, reír, hacer una pausa para pensar o hablar brevemente con alguien más sin que el sistema necesariamente interprete esos eventos como el final de la conversación.

OpenAI asegura que el modelo mejora en 30 puntos porcentuales el rendimiento de GPT-Realtime-2.1 en su evaluación Full Duplex Bench, que mide aspectos como el manejo de pausas, interrupciones, turnos conversacionales y señales breves de escucha. La empresa de aprendizaje de idiomas Speak, que participó en pruebas tempranas, reportó además una reducción cercana al 80% en las interrupciones durante las pausas que sus usuarios hacían para pensar.

Una IA conversa mientras otra piensa

Una de las características más relevantes del lanzamiento no está, sin embargo, en la voz sino en la arquitectura que OpenAI propone alrededor de ella. GPT-Live-1 puede delegar razonamiento y llamadas a herramientas a un modelo de texto instalado detrás de la conversación. OpenAI menciona explícitamente a GPT-6 Astra, pero señala que también pueden utilizarse modelos de terceros. De esta forma, Live puede encargarse de mantener una conversación rápida y natural mientras otro sistema realiza una búsqueda, consulta una base de datos, ejecuta una herramienta o resuelve un problema que requiere mayor capacidad de razonamiento.

La compañía plantea, por ejemplo, que un desarrollador podría utilizar un modelo ligero como Luna para tareas frecuentes, como modificar una reservación o consultar un pedido, y recurrir a Astra cuando aparece un problema que necesita razonamiento más profundo. El desarrollador decide qué modelos, herramientas y sistema de agentes existen detrás de GPT-Live-1.

Esto convierte al modelo de voz en algo diferente de un asistente convencional. En lugar de que una sola IA tenga que escuchar, razonar, ejecutar una tarea y posteriormente hablar, GPT-Live-1 puede funcionar como la capa de interacción permanente entre una persona y un conjunto de modelos y herramientas especializados.

OpenAI reportó que GPT-Live-1 conectado a GPT-6 Astra con un nivel medio de razonamiento obtuvo el primer lugar en Tau3, una evaluación de agentes de voz que mide la capacidad de completar tareas de principio a fin en escenarios como atención a clientes de aerolíneas, comercio y telecomunicaciones.

Hablar con un agente de programación

OpenAI también mostró una integración de GPT-Live-1 con Codex. En el ejemplo publicado por la compañía, la aplicación envía a Codex el contexto acumulado durante una conversación, el agente trabaja sobre un repositorio de código y posteriormente devuelve su resultado a GPT-Live-1 para que éste continúe la interacción oral con el usuario.

Cognition, desarrolladora del agente de programación Devin, probó una arquitectura similar. La empresa sostiene que la combinación permite discutir verbalmente una idea, cuestionar una propuesta o encargar trabajo al agente aun cuando el usuario se encuentra lejos del teclado.

El mismo principio podría aplicarse a numerosos sistemas: una persona podría conversar con una interfaz de voz mientras agentes distintos consultan documentos, operan aplicaciones empresariales, hacen reservaciones, modifican código o recuperan información de bases de datos.

GPT-Live-1 también genera de forma nativa transcripciones de reconocimiento automático de voz y texto correspondiente a sus respuestas. OpenAI señala que mejoró su capacidad para reconocer cadenas alfanuméricas y permite a los desarrolladores favorecer determinadas palabras o términos mediante keyword biasing. Además mantiene detección explícita de turnos para aplicaciones que todavía necesiten trabajar con esa estructura.

De aplicaciones a llamadas telefónicas

La compañía también está posicionando GPT-Live-1 para agentes telefónicos. El modelo admite conversaciones full duplex en llamadas y está siendo utilizado de forma temprana por compañías como Yelp para reservaciones y pedidos y por Intercom para sistemas de soporte.

OpenAI sostiene que el modelo maneja mejor el ruido de fondo, los silencios y las conversaciones paralelas y puede conservar el contexto durante sesiones prolongadas. Los desarrolladores pueden además modificar mediante instrucciones del sistema aspectos como el tono, el ritmo y el estilo de la voz. La compañía amplió también su catálogo de voces y acentos disponibles.

La capa de voz de GPT-Live-1 cuesta 0.05 dólares por minuto a través de la API. El precio corresponde únicamente a la interacción de voz: el modelo de razonamiento, las herramientas y el sistema de agentes que se conecten detrás pueden generar costos adicionales.

GPT-Live-1 había sido introducido previamente dentro de ChatGPT y ahora queda disponible para desarrolladores. Su llegada a la API abre una arquitectura en la que la IA que conversa con una persona ya no tiene que ser necesariamente la misma que ejecuta el trabajo: una puede encargarse de escuchar y mantener la interacción mientras otras razonan y actúan detrás de ella. Más que convertir un chatbot de texto en un asistente que habla, el modelo apunta así a una interfaz oral permanente para sistemas compuestos por múltiples agentes y herramientas.