Durante años, la discusión sobre la posibilidad de que una inteligencia artificial avanzada pudiera escapar al control humano permaneció en un terreno extraño: suficientemente seria para ocupar a investigadores dentro de los principales laboratorios, pero demasiado especulativa para alterar la carrera comercial por construir modelos cada vez más capaces. Este fin de semana, dos de los hombres que dirigen esa carrera tuvieron que responder públicamente una pregunta mucho más incómoda: si consideran que el riesgo de una catástrofe provocada por la IA es real, ¿por qué siguen construyéndola?
Sam Altman, director ejecutivo de OpenAI, respondió durante una entrevista de aproximadamente una hora con Alyson Shontell, directora editorial de Fortune. Dario Amodei, director ejecutivo de Anthropic, lo hizo en una entrevista con Anderson Cooper para CNN, cuyos fragmentos comenzaron a difundirse entre el sábado y el domingo. Las respuestas son distintas, pero conducen a una paradoja común: ambos consideran peligroso avanzar demasiado rápido y, al mismo tiempo, consideran peligroso detenerse mientras otros actores continúan avanzando.
La conversación ocurre después de la renuncia de Jacob Coxon a Anthropic. Coxon, quien antes trabajó en OpenAI, acusó a ambos laboratorios de estar “apostando con nuestras vidas” y aseguró que dentro de las compañías que desarrollan modelos de frontera existe una preocupación genuina de que sistemas futuros puedan provocar la extinción humana antes de terminar la década.
Una precisión resulta importante. El porcentaje que posteriormente dominó el debate, más de 10% de probabilidad de extinción durante la próxima década, no fue formulado por Coxon. Lo publicó Evan Hubinger, responsable del equipo de Alignment Science de Anthropic, al respaldar públicamente el diagnóstico de su antiguo compañero. Hubinger sostuvo además que Anthropic no dispone actualmente de un plan concreto para controlar una superinteligencia.
Altman no acepta el 10%, pero tampoco lo descarta como problema
Shontell llevó directamente esa estimación a Altman. La respuesta del director ejecutivo de OpenAI fue reveladora porque hizo dos cosas aparentemente contradictorias: cuestionó que alguien pueda calcular con precisión una probabilidad semejante, pero rechazó utilizar esa incertidumbre como argumento para restarle importancia.
Altman dijo que no sabe cómo podría determinarse si la probabilidad real de una catástrofe es exactamente de 10%. Sin embargo, agregó que la diferencia entre 10%, 8% o 6% no modifica el problema fundamental: cualquiera de esas cifras representa un riesgo que la industria no debería aceptar.
“Creo que es inaceptable correr un riesgo del 10% de matar a todos para finales de la década. Obviamente no. Creo que las personas que trabajan en estos esfuerzos tienen una enorme capacidad de poder para influir en lo que sucede aquí”, explicó, las compañías tienen una enorme responsabilidad y no pueden permitir que los egos o los incentivos económicos interfieran. Su conclusión fue todavía más clara: la industria debe actuar de manera que no acepte ninguno de esos niveles de riesgo.
La respuesta contiene una diferencia importante respecto del debate habitual sobre el llamado p(doom) (la probabilidad subjetiva de que una IA avanzada produzca una catástrofe existencial). Altman no está ofreciendo su propio porcentaje ni afirmando que Hubinger tenga razón. Está diciendo algo diferente: para tomar una decisión no necesitamos conocer con exactitud la probabilidad si las consecuencias posibles son suficientemente grandes.
Es un argumento de decisión bajo incertidumbre. Si una tecnología tuviera, por ejemplo, 6% de probabilidades de destruir a la humanidad, demostrar que la estimación inicial de 10% estaba exagerada no resolvería el problema. La discusión pasaría entonces de calcular el porcentaje exacto a decidir qué nivel de riesgo resulta moral y políticamente aceptable. Y Altman parece colocar ese umbral muy por debajo de cualquiera de las cifras que actualmente circulan.
“No apostar con la humanidad”
La entrevista de Fortune va todavía más lejos. Shontell preguntó qué ocurriría si OpenAI concluyera que los sistemas que desarrolla no pueden construirse de manera segura. Según Fortune, Altman respondió que no tendría problema en enfrentarse a los inversionistas de la compañía si fuera necesario pausar o incluso detener por completo el desarrollo. La publicación resume su posición de una manera contundente: ninguna apuesta con la humanidad es aceptable.
El director de OpenAI reconoció además que los estándares de seguridad actuales todavía “no están” en un punto que permita empujar mucho más lejos las capacidades de los modelos y aceptó que una inteligencia artificial que escape al control humano es “absolutamente” una posibilidad.
Eso hace que la discusión sea muy distinta de la que la industria mantuvo durante los primeros años posteriores a ChatGPT. Ya no se debate únicamente si el riesgo existencial pertenece a la ciencia ficción. El director de la empresa que desarrolla algunos de los modelos más avanzados del mundo acepta públicamente que existe una posibilidad de pérdida de control y dice que estaría dispuesto a detener el desarrollo si considera que la tecnología dejó de ser segura. La pregunta inevitable es quién determina cuándo llega ese momento.
Amodei: Coxon tiene más razón que equivocación
Dario Amodei recibió prácticamente la misma pregunta desde otro ángulo. Anderson Cooper le recordó las advertencias de Jacob Coxon y le preguntó por la posibilidad de que la inteligencia artificial pudiera terminar causando la desaparición de la humanidad.
Amodei no se distanció de su antiguo empleado. Dijo que está “más de acuerdo que en desacuerdo” con Coxon. Pero inmediatamente introdujo una diferencia fundamental: no considera que el desenlace sea inevitable. En distintos fragmentos publicados por CNN, Amodei insiste en que la situación “no es fatalista” y que las personas no están impotentes frente al desarrollo tecnológico. Los ciudadanos pueden votar, los gobiernos pueden regular y las compañías pueden aceptar restricciones.
Es una respuesta muy característica de la posición que Anthropic ha construido alrededor del riesgo de IA: aceptar escenarios extremadamente graves sin aceptar que éstos constituyan un destino. Para Amodei, la probabilidad de catástrofe depende precisamente de las decisiones que se adopten ahora. Pero su razonamiento incorpora inmediatamente otro problema.
“Si vamos demasiado lento, todavía creo que las personas equivocadas estarán a cargo de la tecnología”, dijo a Cooper. Eso, añadió, también elevaría mucho la probabilidad de que algo salga mal.
Correr puede ser peligroso; dejar de correr también
Altman y Amodei no parecen estar discutiendo únicamente cuánto peligro existe. Están intentando resolver dos riesgos que operan en direcciones opuestas. El primero es el riesgo absoluto: continuar aumentando las capacidades de los sistemas hasta alcanzar un punto en que los humanos no puedan entenderlos, supervisarlos o controlarlos adecuadamente.
El segundo es el riesgo relativo: que un laboratorio responsable reduzca voluntariamente su velocidad mientras otro laboratorio, una empresa menos cuidadosa o una potencia rival continúa avanzando y obtiene primero una capacidad estratégica decisiva.
Por eso las declaraciones aparentemente contradictorias empiezan a adquirir sentido. Si OpenAI detiene unilateralmente su investigación mientras sus competidores continúan, Altman puede considerar que el resultado final no necesariamente será un mundo más seguro. Si Anthropic desacelera demasiado y otro actor llega antes a sistemas extraordinariamente poderosos, Amodei piensa que el riesgo podría aumentar en lugar de disminuir.
Cada laboratorio teme simultáneamente a la tecnología que intenta construir y a la posibilidad de que alguien más la construya primero. Es un dilema de seguridad clásico trasladado a la inteligencia artificial. Dos actores pueden preferir un mundo en el que ninguno posea una determinada capacidad peligrosa y, sin embargo, tener incentivos racionales para desarrollarla porque ninguno confía en que el otro se detendrá.
Por eso aparece el pacto
También ayuda a entender por qué Altman y Amodei comienzan a hablar de coordinación. Amodei propuso este fin de semana un esquema denominado pacing the frontier: reducir la velocidad a la que aumentan las capacidades para permitir que la seguridad, la interpretabilidad, las evaluaciones y los mecanismos de supervisión puedan alcanzarlas. Su primer paso sería incorporar evaluadores externos con acceso profundo y permanente a los laboratorios; el segundo, establecer estándares comunes entre empresas y gobiernos; el tercero, buscar acuerdos internacionales capaces de incluir incluso a adversarios geopolíticos.
Altman respondió públicamente que OpenAI adoptará también el sistema de evaluadores independientes y reveló a Fortune que existen conversaciones con otros actores de la industria que podrían desembocar en algún tipo de pacto para reducir la velocidad mientras las soluciones de seguridad alcanzan a las capacidades. Eso resuelve, al menos conceptualmente, el dilema competitivo: una empresa puede aceptar desacelerar si sabe que sus principales rivales también lo harán. Pero introduce otro problema todavía mayor.
Los constructores siguen decidiendo cuándo es demasiado peligroso construir
Hasta ahora, tanto OpenAI como Anthropic conservan una posición excepcional dentro del sistema que intentan diseñar. Construyen los modelos, realizan buena parte de las evaluaciones, conocen capacidades que el público no puede observar y participan directamente en la definición de los criterios que determinarían cuándo es necesario reducir la velocidad.
En otras palabras, continúan siendo al mismo tiempo los desarrolladores de la tecnología, los primeros evaluadores de su peligro y algunos de los actores con mayor influencia para decidir si debe seguir avanzando. Los evaluadores externos que propone Amodei reducirían parcialmente ese conflicto, pero todavía queda sin responder quién poseería finalmente la autoridad para ordenar una pausa.
¿El director ejecutivo del laboratorio? ¿Su consejo de administración? ¿Un evaluador independiente? ¿El gobierno estadounidense? ¿Un organismo internacional? ¿Un acuerdo entre compañías? Y existe una dificultad adicional: si el criterio para detenerse depende de demostrar previamente que un sistema es demasiado peligroso, podría ser necesario acercarse demasiado a la capacidad que se pretende evitar para obtener la evidencia necesaria.
Dos filosofías frente al mismo problema
Las entrevistas permiten observar también una diferencia interesante entre Altman y Amodei. Altman habla fundamentalmente como un administrador de incertidumbre. No intenta establecer cuál es el p(doom) correcto. Su argumento es que una probabilidad precisa puede ser imposible de conocer y que, aun así, existen niveles de riesgo que ninguna empresa debería aceptar. De ahí su disposición declarada a detenerse y su creciente interés en acuerdos colectivos.
Amodei intenta convertir esa incertidumbre en una arquitectura de control. Habla de evaluaciones, umbrales, verificadores externos, coordinación entre empresas, gobiernos y países y límites a determinadas capacidades. Su pregunta parece ser menos “¿cuál es exactamente la probabilidad de que ocurra?” y más “¿qué mecanismos podemos introducir antes de descubrir que avanzamos demasiado?”.
Pero ambos terminan en el mismo sitio. Ninguno considera razonable continuar la carrera exactamente como funciona hoy. Ninguno sostiene que el riesgo sea simplemente imaginario. Ninguno cree tampoco que una detención unilateral garantice un resultado más seguro.
Y ése puede ser el cambio más importante ocurrido durante los últimos días. La discusión ya no enfrenta únicamente a quienes creen que la inteligencia artificial representa un riesgo existencial contra quienes consideran esa preocupación exagerada. Ahora el debate ocurre también dentro de los propios laboratorios que desarrollan los sistemas más avanzados y empieza a trasladarse hacia otra pregunta: Si todos reconocen que existe una velocidad demasiado peligrosa, ¿quién va a obligarlos a reducirla antes de alcanzarla?
