El debate sobre frenar la IA se fragmenta

El debate sobre frenar la IA se fragmenta

Lo que durante unas horas pareció un consenso extraordinario entre los principales constructores de inteligencia artificial empieza a deshacerse en algo bastante más complejo. Dario Amodei pidió reducir la velocidad con la que avanzan los modelos de frontera; Sam Altman respaldó la propuesta; Elon Musk dijo que Amodei tenía razón y Demis Hassabis consideró que la dirección era correcta, aunque los detalles todavía deben resolverse. Pero alrededor de ese núcleo comenzaron inmediatamente a aparecer respuestas que no caben en la división convencional entre quienes quieren “frenar” y quienes quieren “acelerar”. Donald Trump rechaza sacrificar la ventaja estadounidense frente a China; David Sacks dice que OpenAI y Anthropic pueden desacelerarse por voluntad propia sin convertir sus temores en regulación para todos; Yann LeCun se burla abiertamente del diagnóstico; investigadores como François Chollet observan si la seguridad terminará utilizándose contra la competencia; Julien Chaumond lanza una objeción todavía más difícil de resolver “open source won’t pace”(«Al código abierto no le van a marcar el ritmo») y Satya Nadella acepta la necesidad de moderar la velocidad, pero insiste en que la superinteligencia debe permanecer bajo control humano y someterse a una gobernanza más amplia que la de unos cuantos laboratorios.

El punto de partida sigue siendo el ensayo de Amodei, We Must Pace the Frontier. El director de Anthropic sostiene que el desarrollo de capacidades comenzó a acelerarse de manera suficientemente pronunciada como para que la seguridad necesite tiempo adicional. Propone evaluadores externos con acceso permanente a los laboratorios, estándares coordinados entre compañías y gobiernos democráticos y, finalmente, acuerdos internacionales capaces de incluir a China. Altman respondió que el asunto ya ocupaba las conversaciones internas de OpenAI y prometió adoptar también evaluadores independientes. Hassabis se sumó después señalando que ése era “el camino correcto”, aunque dejó claro que el mecanismo todavía debía perfeccionarse. Durante unas horas pareció que cuatro de las figuras más enfrentadas de la industria habían encontrado una posición común.

La primera fractura apareció desde la política. Trump rechazó este domingo desacelerar el desarrollo estadounidense porque, desde su perspectiva, el problema no puede separarse de China. Estados Unidos va por delante y debe conservar esa posición porque, dijo, “quien gane la IA, gana”. El presidente no descartó algunas salvaguardas, pero calificó parte de las advertencias como producto de “fuerzas muy negativas” que plantean acontecimientos que, a su juicio, no sucederán. Su posición es importante porque no necesita demostrar que Amodei esté equivocado: aun suponiendo que exista peligro, desacelerar mientras un rival estratégico continúa avanzando puede ser considerado un riesgo todavía mayor. La seguridad deja entonces de ser únicamente un problema técnico para convertirse en un dilema clásico de poder: todos podrían preferir que nadie construyera primero una capacidad extremadamente peligrosa y, sin embargo, tener incentivos para correr precisamente por miedo a que el adversario llegue antes.

David Sacks plantea una objeción diferente. No necesita negar lo que OpenAI y Anthropic aseguran estar viendo dentro de sus laboratorios. Su respuesta es esencialmente: si ustedes creen que sus modelos son demasiado peligrosos, reduzcan ustedes mismos la velocidad. Lo que cuestiona es la pretensión de necesitar al gobierno para que el resto de la industria desacelere también. Sacks teme que compañías que ya ocupan la frontera puedan utilizar la seguridad para obtener exenciones, regímenes especiales o mecanismos regulatorios que dificulten que competidores más pequeños las alcancen. Es una acusación de posible captura regulatoria, no una refutación del riesgo técnico. Y por eso su posición no coincide exactamente con la de Trump: Trump prioriza la carrera contra China; Sacks prioriza impedir que los líderes actuales conviertan sus preocupaciones privadas en reglas que consoliden su poder.

LeCun cuestiona algo anterior al freno: el diagnóstico

Yann LeCun lleva la discusión todavía más atrás. Su reacción no consiste en preguntar quién debe imponer la desaceleración, sino si las afirmaciones que la justifican merecen siquiera el nivel de alarma que están recibiendo. Este domingo recordó que Dario Amodei ya participaba en OpenAI cuando la compañía decidió en 2019 no liberar inicialmente el GPT-2 completo por temor a usos maliciosos. LeCun dijo haberse burlado entonces y añadió que “todos deberían burlarse de ellos ahora”.

El antecedente existe. OpenAI explicó en febrero de 2019 que retendría inicialmente las ponderaciones completas de GPT-2 debido a posibles usos abusivos y adoptó después un esquema de liberación gradual. Meses más tarde terminó publicando el modelo completo al no observar suficiente evidencia de abuso como para mantenerlo cerrado. La escala resulta casi cómica vista desde 2026: el GPT-2 que generó aquellas precauciones tenía 1,500 millones de parámetros y hoy puede ejecutarse en hardware doméstico. Pero la conclusión histórica no es automática. Que un temor anterior haya resultado sobredimensionado no demuestra que los riesgos de Astra o de agentes autónomos actuales también lo sean. Lo que sí proporciona a LeCun es un argumento epistemológico muy eficaz: la industria tiene antecedentes de presentar como extraordinariamente peligrosas capacidades que pocos años después parecen ordinarias.

Ese punto conecta además con la respuesta reciente de Altman al porcentaje de riesgo de extinción manejado por algunos investigadores de Anthropic. Altman no negó la posibilidad de escenarios catastróficos, pero cuestionó que alguien pueda saber con precisión si su probabilidad es 10%, 8% o 6%. Para LeCun, la duda va más lejos: no sólo es problemática la precisión de la cifra, sino el marco apocalíptico que permite que afirmaciones tan difíciles de contrastar terminen orientando políticas públicas. Por eso, aunque ambos cuestionan aspectos epistemológicos del discurso, Altman permanece dentro del campo de la precaución y LeCun fuera de él.

“Open source won’t pace”

La frase publicada por Julien Chaumond, cofundador de Hugging Face, contiene quizá la objeción estructural más difícil de responder: “open source won’t pace”. Los laboratorios cerrados pueden decidir que un entrenamiento se retrase seis meses, permitir auditores internos o comprometerse a no cruzar determinado umbral. Un modelo abierto, una vez distribuido, ya no pertenece completamente a una organización. Puede copiarse, afinarse, cuantizarse, combinarse con herramientas, ejecutarse localmente y redistribuirse desde otra jurisdicción. No existe una junta directiva global del código abierto a la que pueda ordenársele reducir la velocidad.

Esto cuestiona una premisa implícita del plan de Amodei: que la frontera permanecerá suficientemente concentrada como para que unas pocas compañías y gobiernos puedan coordinarla. Si los sistemas abiertos se acercan a capacidades comparables, el pacing deja de ser únicamente una política industrial y se convierte en un problema de gobernanza de software distribuido. Hugging Face no ha rechazado la seguridad; su director ejecutivo, Clément Delangue, respaldó evaluaciones más transparentes y anunció una iniciativa abierta de alineación. La diferencia está en quién realiza la evaluación y quién conserva acceso a sus resultados. Para el ecosistema abierto, una arquitectura de seguridad decidida exclusivamente dentro de OpenAI, Anthropic y Google corre el riesgo de convertir la seguridad en otro mecanismo de centralización. (businessinsider.com)

François Chollet ocupa una posición especialmente interesante porque no necesita ridiculizar el riesgo para desconfiar de algunas de las soluciones. Su advertencia es casi una prueba política: puede aceptarse de buena fe que OpenAI y Anthropic quieran mejorar la seguridad, pero si las medidas terminan restringiendo modelos abiertos o investigaciones que no se encuentran realmente en la frontera, aparecería una señal de que la regulación está protegiendo a los incumbentes. Es una postura distinta tanto de LeCun como de Sacks. LeCun pone en duda el diagnóstico; Sacks cuestiona la intervención gubernamental; Chollet propone observar qué efectos concretos producen las reglas.

«Espero que las propuestas de los laboratorios de vanguardia para moderar la investigación en IA provengan de una preocupación genuina por la seguridad y de un reconocimiento de los riesgos potenciales que representan los modelos futuros, en lugar de un esfuerzo estratégico para consolidar el poder y solidificar permanentemente el dominio del mercado de unos pocos jugadores principales. Si estos esfuerzos son genuinos, entonces la supervisión debe adoptar una forma más democrática y responsable, con componentes tanto nacionales como internacionales, similar a la Comisión Reguladora Nuclear en EU y la Agencia Internacional de Energía Atómica a nivel internacional», indicó.

Nadella: frenar sin entregar el volante a cuatro compañías

Satya Nadella introduce otro matiz. El director ejecutivo de Microsoft respaldó este domingo un desarrollo deliberadamente medido y sostuvo que cualquier búsqueda de superinteligencia debe partir de una condición básica: si el sistema no beneficia a la humanidad y permanece bajo control humano, no merece ser desarrollado. También apoyó evaluadores independientes y una gobernanza más amplia. La diferencia con una interpretación maximalista del plan de Amodei es importante: Nadella acepta la necesidad de pacing, pero no presenta a los laboratorios de frontera como los únicos actores legítimos para decidir cómo debe hacerse.

Ahí el supuesto consenso se rompe definitivamente. Amodei pregunta cómo podemos hacer que la seguridad alcance a unas capacidades que se aceleran. Altman acepta que determinados riesgos serían intolerables incluso si no sabemos cuantificarlos con precisión. Hassabis considera correcta la dirección y propone estándares institucionales. Nadella acepta moderar la velocidad pero insiste en control humano y gobernanza más amplia. Trump pregunta cómo hacerlo sin permitir que China tome la delantera. Sacks pregunta por qué los laboratorios necesitan que el Estado obligue a sus competidores a frenar. LeCun pregunta dónde está la evidencia de que el escenario apocalíptico sea tan creíble como se afirma. Chollet pregunta quién se beneficiará de las reglas. Y Chaumond formula una objeción distinta a todas las anteriores: qué sucede si una parte suficientemente grande de la tecnología simplemente no acepta que alguien pueda fijarle el ritmo.

Por eso el debate ya no puede describirse adecuadamente como una lucha entre doomers y aceleracionistas. Hay personas que creen en riesgos muy altos y quieren regulación; otras que creen en riesgos altos pero desconfían de que los laboratorios se autorregulen; otras que aceptarían precauciones pero no restricciones al código abierto; otras que consideran exagerado el diagnóstico; y gobiernos que pueden aceptar parte del riesgo pero negarse a frenar por razones estratégicas.

En realidad se están discutiendo simultáneamente al menos cuatro preguntas: qué tan peligroso es lo que se está construyendo, qué evidencia tenemos para saberlo, quién tiene autoridad para decidir cuándo frenar y quién obtiene poder si todos aceptan hacerlo.

La última puede terminar siendo tan importante como la primera. Porque si OpenAI y Anthropic tienen razón, quizá la humanidad necesite encontrar rápidamente una forma de reducir la velocidad de sistemas que empiezan a superar sus mecanismos de control. Pero si sus críticos tienen razón en otra cosa, que ninguna empresa debería poder convertir información privada sobre sus propios modelos en autoridad para determinar las reglas de toda la industria, la solución tampoco puede consistir simplemente en entregarles el freno. Y aún queda el problema que Chaumond redujo a cuatro palabras: los laboratorios pueden acordar una velocidad; el código abierto no necesariamente.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *