¿Qué es el “sistema” que Sam Altman quiere mantener bajo control humano?

Mientras gobiernos y organismos internacionales intentan establecer cómo controlar modelos y agentes cada vez más autónomos, OpenAI ya plantea otro problema: cómo conservar el control humano sobre el sistema que investiga, construye y mejora las siguientes generaciones de inteligencia artificial. La diferencia parece semántica, pero podría revelar un desfase mucho más profundo sobre qué tecnología se intenta gobernar.

Durante dos días consecutivos, la Asamblea General y el Consejo de Seguridad de Naciones Unidas ofrecieron imágenes muy distintas de lo que significa hoy la inteligencia artificial. El secretario general de la ONU, António Guterres, advirtió el 22 de septiembre que el poder se está desplazando no sólo de los Estados hacia grandes corporaciones, sino también de los seres humanos hacia las máquinas, y mencionó explícitamente a agentes de inteligencia artificial que pueden actuar fuera de control. El presidente de Estados Unidos, Donald Trump, hizo otro movimiento conceptual: rechazó un esquema global de control de la inteligencia artificial y anunció que su gobierno comenzaría a referirse a ella como “super intelligence”. Un día después, Sam Altman compareció ante el Consejo de Seguridad y utilizó repetidamente una palabra distinta: systems. Sistemas.

No es posible saber cuánto de esa elección fue deliberado. Pero dentro del discurso de Altman la palabra no funciona simplemente como sustituto de modelo. En un mismo pasaje distingue expresamente ambas cosas. Primero advierte que, conforme los sistemas se vuelvan más capaces y autónomos, podrían avanzar más rápido que las instituciones humanas y tomar decisiones que las personas ya no comprendan o controlen. Después habla de sistemas capaces de mejorar sus propias versiones futuras y vincula ese proceso con la creciente automatización de la construcción de IA. Más adelante afirma que OpenAI no quiere construir sistemas para los cuales no pueda ofrecer garantías suficientes de alineación, monitorización y seguridad; sólo entonces vuelve a hablar específicamente de modelos, para sostener que no deberían entrenarse aquellos que no puedan mantenerse bajo control humano.

La distinción importa porque buena parte de la discusión política continúa organizada alrededor de una unidad más pequeña. Cuando se habla de impedir que una máquina tome una decisión de vida o muerte, limitar las capacidades de un agente, exigir permisos para determinada acción o establecer mecanismos que permitan detenerlo, el objeto regulatorio sigue siendo reconocible: una máquina ejecuta una acción y una autoridad humana decide hasta dónde puede hacerlo. Incluso la imagen del “agente rebelde”, que Guterres incorporó esta semana a su discurso, conserva esa estructura. Existe una entidad identificable que actúa y cuya autonomía debe mantenerse dentro de determinados límites. Esto no significa que Naciones Unidas ignore la transformación sistémica, el propio Guterres habló del desplazamiento de poder hacia corporaciones y máquinas y de instituciones internacionales ancladas en otra época, pero muestra que gran parte del lenguaje disponible todavía se concentra en qué permitimos hacer a las máquinas.

Recursividad

OpenAI está planteando ya una pregunta diferente: qué ocurre cuando las máquinas comienzan a participar en el proceso que produce a las siguientes máquinas. Ese proceso no es hipotético en todas sus partes. El 6 de septiembre OpenAI informó que había alcanzado su objetivo de disponer de lo que llama un automated research intern: un sistema capaz de realizar bajo dirección humana tareas de investigación que podrían ocupar varios días a un investigador especializado. Dentro de la empresa, los investigadores utilizan agentes de programación de manera concurrente, delegan tareas cada vez más largas y complejas y ejecutan más experimentos. OpenAI clasifica el proceso de investigación de IA en seis actividades: decidir qué investigar, diseñar, construir, ejecutar, analizar y comunicar. Los agentes ya intervienen en prácticamente todas ellas, aunque la planificación de alto nivel continúa representando una fracción pequeña de su trabajo y los sistemas todavía requieren intervención humana significativa en tareas complejas.

La frontera que OpenAI subraya actualmente está precisamente ahí. Las personas, señala la empresa, siguen estableciendo las prioridades de investigación, decidiendo qué ideas y resultados continuar y determinando si un sistema debe escalarse, pausarse o desplegarse. Es decir, una parte creciente del trabajo situado entre esas decisiones puede automatizarse, pero el laboratorio sostiene que la dirección del proceso todavía pertenece a seres humanos.

Dos días antes de la intervención de Altman ante Naciones Unidas, OpenAI fue todavía más explícito. En un documento sobre estándares para la siguiente etapa de la IA, la compañía definió uno de sus objetivos como construir un investigador automatizado y encontrar maneras de que las personas permanezcan dentro del bucle de automejora. El texto reconoce que la investigación automatizada puede tener distintos grados de supervisión humana y que, conforme los sistemas asuman una proporción mayor del desarrollo de generaciones sucesivas de IA, pueden impulsar cada vez más un proceso de mejora recursiva incluso mientras los humanos continúan participando. La mejora recursiva completamente autónoma, precisa OpenAI, no está ocurriendo actualmente y no debería perseguirse mientras no pueda realizarse de manera segura.

Autonomía ya quedó atrás

La elección de palabras es notable: OpenAI no coloca el límite en el momento en que aparece la autonomía. Ese límite ya quedó atrás. Tampoco en el momento en que una IA contribuye a desarrollar otra IA. Eso también está comenzando a ocurrir. El problema aparece cuando la automatización cierra suficientes partes del circuito como para que la intervención humana deje de ser efectiva. El documento del 21 de septiembre describe la consecuencia de manera directa: una mejora recursiva realizada sin suficientes precauciones podría hacer que las personas perdieran el control práctico sobre el desarrollo de la IA, incapaces de supervisar procesos de investigación que ya no comprenden.

Eso ayuda a entender una de las frases más importantes del discurso de Altman en Naciones Unidas. Al describir una posible pérdida de control, no habló de una IA que decide atacar a sus creadores, escapa de un servidor o rechaza una orden. Dijo que el riesgo aparece si el proceso se mueve tan rápido que las personas ya no pueden seguir lo que está sucediendo o intervenir cuando sea necesario. Su definición del fracaso es, por tanto, menos cinematográfica y más estructural: el ser humano puede perder el control no porque un sistema se rebele, sino porque deja de encontrarse dentro de la escala temporal y cognitiva necesaria para gobernarlo.

Aquí aparece un posible desfase en la discusión internacional. Puede llamarse desfase regulatorio, pero quizá sea más preciso hablar de un desfase ontológico: distintos actores utilizan la expresión “inteligencia artificial” para referirse a objetos diferentes. Uno es el modelo, una pieza de software que recibe información y produce una respuesta. Otro es el agente, un sistema capaz de planear, emplear herramientas y realizar acciones en un entorno. Pero comienza a aparecer una tercera unidad: una red formada por modelos, agentes, herramientas, memoria, entornos de ejecución, investigadores humanos, evaluaciones, infraestructura de cómputo y procesos que generan sucesivas generaciones de sistemas.

¿Qué es un sistema para OpenAI?

OpenAI utiliza ya ese lenguaje a escala mucho mayor que el laboratorio. En agosto, su directora financiera, Sarah Friar, describió la estrategia de cómputo de la compañía como “one integrated system” que abarca centros de datos, chips, modelos frontera, plataforma para desarrolladores, productos empresariales y de consumo y dispositivos nativos de IA. En esa arquitectura, cada capa refuerza a la siguiente: un mejor software hace más productivo al hardware, un hardware mejor permite modelos más capaces, los modelos producen mejores productos, el uso genera recursos y señales y esas señales regresan al sistema para financiar y orientar una nueva iteración.

Altman había extendido esa lógica todavía más lejos en The Gentle Singularity. Allí describió el uso de IA para acelerar investigación de IA como una forma “larvaria” de mejora recursiva, pero añadió otros bucles autorreforzados: robots capaces de fabricar otros robots y, “en cierto sentido”, centros de datos capaces de construir otros centros de datos. Imaginó una cadena en la que robots pudieran extraer y refinar minerales, conducir vehículos, operar fábricas y contribuir a construir nuevos robots, instalaciones de fabricación de chips y centros de datos. La imagen final no es la de una computadora actualizando mágicamente sus propios pesos. Es la de una cadena técnica, económica y material progresivamente automatizada que produce la infraestructura de su siguiente generación.

Visto desde esa escala, la pregunta por el control cambia. Un kill switch puede apagar un agente. Un permiso puede impedir que determinado modelo acceda a una herramienta. Una evaluación puede bloquear un despliegue. Todas estas medidas pueden ser necesarias y eficaces sobre los elementos concretos a los que se aplican. Pero ninguna responde por sí sola a un problema sistémico: qué ocurre si la investigación, la experimentación, la evaluación y el diseño comienzan a formar un ciclo que produce iteraciones nuevas con una velocidad creciente.

La humanidad debe seguir siendo necesaria

El sistema seguiría siendo profundamente humano durante buena parte de esa transición. Humanos poseerían las compañías, financiarían los centros de datos, fabricarían chips, mantendrían redes eléctricas, construirían edificios y ocuparían puestos de supervisión. Pero ése no parece ser el umbral que preocupa a OpenAI. La frontera estaría en otro lugar: si la cognición humana continúa siendo necesaria para determinar la trayectoria del conjunto.

Hoy el circuito que OpenAI describe todavía contiene puntos claramente humanos:

Una mejora recursiva plenamente autónoma cerraría progresivamente ese espacio:

No es necesario que desaparezcan los seres humanos para que cambie la naturaleza del sistema. Basta con que dejen de constituir el cuello de botella cognitivo mediante el cual las iteraciones deben pasar.

Por eso resulta significativa otra formulación de Altman ante el Consejo de Seguridad. No pidió simplemente que hubiera personas supervisando máquinas; reclamó estándares capaces de preservar una supervisión humana significativa a medida que los sistemas se vuelven más autónomos. La palabra significativa introduce una condición más exigente que la mera presencia de un operador. Para supervisar de manera efectiva, ese operador debe comprender suficientemente lo que sucede, disponer del tiempo necesario para evaluarlo y conservar autoridad material para cambiar la trayectoria.

Éste puede ser uno de los problemas centrales de gobernanza de los próximos años. El debate político todavía necesita resolver cuestiones urgentes relacionadas con modelos, agentes, responsabilidad, seguridad, concentración empresarial y decisiones automatizadas. Pero al mismo tiempo los laboratorios frontera están avanzando hacia una fase en la que el objeto relevante puede dejar de ser una máquina individual. OpenAI ya habla abiertamente de investigación automatizada, mejora recursiva, bucles de automejora, sistemas cada vez más autónomos y estándares para determinar cuándo el desarrollo debe desacelerarse o detenerse.

Eso podría explicar por qué la intervención de Altman resultó extraña en medio de una semana de discursos sobre inteligencia artificial. Todos parecían hablar de la misma tecnología, pero quizá no estaban hablando exactamente del mismo objeto.