Jakub Pachocki, científico jefe de OpenAI, reconoce que los modelos se vuelven más difíciles de interpretar, que disminuye la capacidad para vigilar su razonamiento y que resultados internos apuntan hacia sistemas capaces de impulsar su propio desarrollo. Pide “extrema precaución” y advierte que ningún laboratorio está preparado para seguir escalando a máxima velocidad.
OpenAI acaba de hacer una de las admisiones más extraordinarias desde que comenzó la carrera por desarrollar inteligencia artificial general. Jakub Pachocki, científico jefe de la compañía, publicó este domingo un ensayo titulado An Alien Mind, “Una mente alienígena”, en el que sostiene que la inteligencia artificial es actualmente algo que se “cultiva” más de lo que se diseña, reconoce que su funcionamiento global todavía escapa a una comprensión completa y advierte que la capacidad de OpenAI para observar el proceso de razonamiento de sus modelos más avanzados está disminuyendo.
La advertencia llega apenas tres días después del lanzamiento de GPT-6 Astra, el modelo más avanzado de OpenAI. Pachocki no presenta sus preocupaciones como una especulación distante. Dice que, con base en resultados internos, espera que el ritmo actual de progreso pueda mantenerse hasta desembocar en recursive self-improvement (mejora recursiva), un escenario en el que los sistemas de inteligencia artificial participarían cada vez más en el desarrollo de las siguientes generaciones de IA. Acto seguido escribe que éste es un momento que exige “extrema precaución” y que le preocupa que nadie esté preparado para las consecuencias de un aumento rápido y continuo de la inteligencia de máquina.
Una inteligencia que OpenAI no diseñó pieza por pieza
Pachocki comienza contando una noche de 2023 que parece haber marcado su percepción sobre la trayectoria de la tecnología. Durante un proyecto interno llamado RLSlow, él y el investigador Szymon Sidor observaron resultados que les dieron confianza en que podrían escalar los modelos de razonamiento. Pachocki recuerda que no pasaron aquella noche pensando en productos o benchmarks, sino intentando asimilar la posibilidad de llegar a ver máquinas significativamente más inteligentes que ellos mismos y preguntándose cómo comunicar al mundo la importancia de lo que comenzaban a observar.
Tres años después, asegura que la inteligencia de máquina ya comienza a superar a la humana en formas transformadoras. Pero quizá la afirmación más reveladora del ensayo es su descripción de cómo se construyen estos sistemas: “AI is grown more than designed”, la IA es cultivada más que diseñada. El científico explica que grandes cantidades de cómputo y procesos repetidos de optimización producen sistemas de enorme complejidad capaces de trabajar con conceptos abstractos y reproducir aspectos de la conducta humana. Los investigadores pueden identificar mecanismos parciales dentro de ellos, de manera parecida a como la neurociencia estudia partes del cerebro, pero no poseen una descripción completa de su funcionamiento global.
La comparación tiene implicaciones importantes. Pachocki reconoce que los grandes entrenamientos son, en último término, experimentos, y que sus resultados en ocasiones sorprenden incluso a quienes diseñaron el proceso. Conforme aumenta la capacidad de los modelos, añade, esos resultados se vuelven más difíciles de interpretar. También advierte que la inteligencia producida mediante deep learning no puede compararse directamente con la inteligencia humana y que, conforme las máquinas superan a las personas en más dimensiones, se vuelve cada vez más difícil establecer exactamente de qué son capaces.
OpenAI pierde una ventana hacia el razonamiento
Una de las admisiones más delicadas aparece cuando Pachocki aborda la monitorización de la chain of thought (CoT), la cadena de pensamiento mediante la cual los modelos de razonamiento exteriorizan parte del proceso utilizado para resolver un problema.
OpenAI apostó por esa cadena como una herramienta para estudiar la generalización de sus modelos. Pachocki explica que les permitió observar no sólo las acciones que realizaba una IA, sino parte de su proceso interno. Esa monitorización continúa siendo crítica, asegura, para estudiar los modelos de la clase Astra. Sin embargo, las evaluaciones internas muestran que la capacidad de confiar en ella está “disminuyendo progresivamente”.
El científico enumera tres razones. Los nuevos modelos operan en entornos mucho más complejos y mezclan su razonamiento con conversaciones con personas, otras IA y herramientas; además, están mejorando su capacidad para razonar sobre su propio proceso de razonamiento y manipularlo. Al mismo tiempo, el preentrenamiento ha avanzado hasta el punto de que los modelos pueden volverse significativamente más inteligentes sin utilizar razonamiento verbalizado.
Esto no significa que OpenAI haya dejado de observar lo que hacen sus sistemas. La compañía puede registrar acciones, uso de herramientas y resultados. Lo que Pachocki reconoce es diferente: una de las principales ventanas utilizadas para comprender cómo llegan los modelos a determinadas decisiones está perdiendo fiabilidad precisamente mientras aumenta su capacidad.
Pachocki espera que puedan desarrollar nuevas formas de monitorización, incluso accediendo directamente a activaciones internas de las redes. Pero también anticipa que el progreso de la inteligencia artificial estará cada vez más limitado por una pregunta que hasta ahora parecía secundaria frente al escalamiento: qué tanta confianza tienen los laboratorios en que realmente pueden vigilar aquello que están construyendo.
La IA comienza a participar en la creación de IA
El ensayo dedica una sección completa a la mejora recursiva. Para Pachocki, si el progreso continúa, que la inteligencia de máquina desempeñe un papel cada vez mayor en su propio desarrollo es una consecuencia natural de la trayectoria actual. OpenAI, de hecho, está orientando parte de su investigación hacia ese escenario porque considera que será necesario para mantenerse en la frontera tecnológica.
La compañía publicó este mismo domingo datos que muestran que ese proceso ya ha comenzado en una forma limitada. OpenAI asegura haber cumplido su objetivo de construir un “investigador interno automatizado” capaz de realizar bajo supervisión humana tareas de investigación que a un investigador cualificado podrían tomarle varios días. A mediados de agosto, su organización de investigación utilizaba 3.1 jornadas de trabajo de agentes por cada jornada de trabajo humana, mientras aumentaban tanto la cantidad de código producido como el número de experimentos ejecutados. El siguiente objetivo de OpenAI es construir un investigador de IA automatizado capaz de contribuir de forma iterativa al propio progreso del deep learning y la alineación.
Pachocki aclara que describir esta trayectoria no significa que considere conveniente acelerar indiscriminadamente. Por el contrario, sostiene que la investigación automatizada debe mantener a los seres humanos dentro del ciclo de mejora y que el escalamiento debe estar condicionado por la capacidad de demostrar seguridad. Propone convertir los compromisos voluntarios actuales en límites ampliamente exigibles, supervisados por auditores independientes, gobiernos u organismos internacionales.
“Nadie está preparado”
El tono del ensayo cambia abiertamente hacia la advertencia cuando Pachocki aborda las consecuencias sociales y políticas. Plantea un futuro en el que proyectos que antes necesitarían miles de especialistas podrían ser ejecutados por unas pocas personas operando una enorme computadora, creando una concentración de poder sin precedentes. También insiste en que la humanidad debe conservar el control del futuro y evitar quedar rezagada frente a un progreso descontrolado producido por lo que denomina “an alien intellect exceeding our own”: una inteligencia ajena a la humana que llegue a superarla.
El término alien no significa aquí necesariamente “extraterrestre”. Pachocki lo utiliza para distinguir una inteligencia surgida de un proceso completamente diferente al biológico: no una réplica del cerebro humano, sino otra vía para producir cognición. Tampoco sostiene que Astra sea consciente. Sin embargo, resulta significativo que el científico jefe de OpenAI haya elegido titular su ensayo An Alien Mind y describa el destino de esta trayectoria mediante términos como “mente”, “intelecto”, inteligencia superior a la humana y mejora recursiva.
Su conclusión es excepcionalmente directa. Pachocki sostiene que ningún laboratorio ha resuelto todavía la alineación y la monitorización hasta un nivel que permita continuar responsablemente escalando a máxima velocidad durante mucho más tiempo. Espera que las desaceleraciones voluntarias se vuelvan habituales hasta que existan umbrales compartidos de seguridad y pide convertir la coordinación internacional sobre el futuro desarrollo de IA en una prioridad para los gobiernos.
OpenAI, asegura, continuará investigando técnicas de alineación y monitorización, construirá sistemas defensivos e incluso detendrá unilateralmente el escalamiento cuando lo considere necesario. Pero Pachocki cree que eso ya no basta: se requieren intervenciones más amplias.
El lenguaje alrededor de Astra cambia
El ensayo aparece en un momento particularmente extraño para la industria. Tras el lanzamiento de GPT-6 Astra, Jensen Huang, director ejecutivo de Nvidia y uno de los hombres con mayor conocimiento de la infraestructura utilizada para entrenar estos modelos, proclamó públicamente que “la AGI ha llegado”. OpenAI evitó utilizar esa formulación en la presentación del modelo.
Pachocki tampoco declara que Astra sea AGI. Pero su ensayo describe una transición que apunta hacia el mismo territorio: máquinas que comienzan a superar capacidades humanas, sistemas que cada vez participan más en su propio desarrollo, una inteligencia que no comprenden completamente y herramientas de monitorización cuya eficacia se deteriora a medida que los modelos avanzan.
La coincidencia no demuestra que OpenAI y Nvidia hayan observado una capacidad secreta ni que exista una superinteligencia oculta detrás de Astra. Pero sí muestra algo que empieza a resultar difícil ignorar: el lenguaje de las personas que tienen acceso más directo a los modelos de frontera está cambiando rápidamente.
Huang habla de AGI en presente. Pachocki habla de una “mente alienígena”, refiriéndose a algo ajeno a lo humano, de resultados internos que apuntan hacia mejora recursiva y de una inteligencia superior a la humana. Y, al mismo tiempo, advierte que quienes construyen estos sistemas todavía no poseen las herramientas suficientes para comprenderlos y vigilarlos al mismo ritmo que aumentan sus capacidades.
OpenAI continúa escalando. Pero su propio científico jefe acaba de decir públicamente que ya no cree que nadie pueda seguir haciéndolo a máxima velocidad durante mucho más tiempo sin detenerse a resolver qué es exactamente lo que está creciendo dentro de esas computadoras.
