El CEO de Nvidia defendió avanzar tan rápido como sea técnicamente posible y detener sólo productos concretos cuando existan dudas de seguridad. Dario Amodei, de Anthropic, insistió en reducir deliberadamente el ritmo de mejora de capacidades, abrir los laboratorios a evaluadores externos y avanzar hacia estándares coordinados entre empresas y países.
Jensen Huang y Dario Amodei utilizaron el mismo escenario esta semana para defender casi dos modelos opuestos de gobernanza para la inteligencia artificial. Durante Dreamforce, en San Francisco, el CEO de Nvidia rechazó la idea de ralentizar de manera coordinada el desarrollo de modelos frontera y sostuvo que las compañías deberían avanzar tan rápido como puedan, siempre que detengan un producto concreto cuando no estén seguras de que funciona de manera fiable y segura.
Amodei, CEO de Anthropic, defendió prácticamente la posición contraria. Reiteró su propuesta de “marcar el ritmo de la frontera”: reducir deliberadamente la velocidad con la que aumentan las capacidades cuando los mecanismos de seguridad no consiguen mantenerse al día, incorporar evaluadores independientes dentro de los propios laboratorios y construir después mecanismos coordinados primero entre empresas y finalmente entre países.
El choque no gira alrededor de si la seguridad importa. Ambos ejecutivos sostienen que los sistemas deben ser probados y que un producto inseguro no debería desplegarse. La diferencia está en quién debe decidir cuándo frenar y hasta dónde debe extenderse ese freno.
Huang: “la seguridad es un problema de ingeniería”
Huang describió los sistemas de inteligencia artificial como máquinas construidas por personas, no como una forma de inteligencia fundamentalmente ajena al control humano. “La seguridad es un problema de ingeniería, no jurídico”, dijo durante Dreamforce.
Su argumento es que la IA sigue siendo hardware y software y que los riesgos deben gestionarse con las mismas herramientas utilizadas para otros sistemas tecnológicos complejos: pruebas, ingeniería, verificación y responsabilidad sobre el producto.
Desde esa perspectiva, velocidad y seguridad no serían objetivos incompatibles. Las empresas deberían continuar avanzando con rapidez, probar los sistemas conforme se desarrollan y detener un lanzamiento cuando no tengan suficiente confianza en su funcionamiento o seguridad.
Huang rechazó además la necesidad de nuevas leyes o de un régimen regulatorio específico para ralentizar el desarrollo de IA. Sostuvo que ya existen normas suficientes para exigir responsabilidad sobre productos defectuosos y que las compañías tienen incentivos para resolver los problemas antes de desplegarlos.
También cuestionó las propuestas para permitir que los principales laboratorios coordinen entre sí una desaceleración sin exponerse a problemas antimonopolio, al considerar innecesaria una excepción de ese tipo. En la práctica, su modelo es descentralizado: cada compañía desarrolla tan rápido como puede y reduce el ritmo únicamente cuando encuentra un problema concreto que todavía no sabe resolver.
Amodei: si la seguridad se queda atrás, también deben hacerlo las capacidades
Amodei parte de una premisa distinta. El CEO de Anthropic sostiene que, cuando la velocidad de mejora de las capacidades supera la capacidad para comprender, evaluar o contener a los modelos, continuar avanzando puede aumentar el riesgo más rápido de lo que la industria consigue mitigarlo.
Su propuesta no consiste en detener indefinidamente el entrenamiento de modelos. En su ensayo We Must Pace the Frontier, Amodei define la ralentización como mantener las capacidades y la seguridad aproximadamente en equilibrio, permitiendo que continúe el progreso pero introduciendo retrasos cuando sean necesarios para evaluar y asegurar sistemas cada vez más capaces.
El plan tiene tres niveles. El primero ocurre dentro de los propios laboratorios. Anthropic propone incorporar equipos de evaluadores independientes con un nivel de acceso similar al de empleados internos encargados de riesgos.
Esos equipos podrían acceder a herramientas, espacios de trabajo y procesos de entrenamiento, verificar si la compañía cumple sus compromisos de seguridad y publicar conclusiones sin control editorial de Anthropic, salvo excepciones limitadas por seguridad o confidencialidad.
El segundo nivel sería una coordinación entre los principales desarrolladores. Una vez que exista suficiente capacidad de evaluación externa, las compañías podrían establecer estándares comunes y mecanismos verificables para reducir temporalmente el ritmo cuando determinados riesgos aparezcan.
El tercero extendería ese esquema al ámbito internacional, con cooperación entre gobiernos y eventualmente acuerdos capaces de evitar una carrera en la que cada actor continúe acelerando por temor a quedarse atrás.
Dos teorías sobre el mismo problema
La diferencia entre Huang y Amodei puede resumirse en dos teorías distintas sobre cómo reaccionar ante la incertidumbre. Para Huang, la incertidumbre debe resolverse producto por producto. Si un sistema concreto no es suficientemente seguro, se retrasa ese sistema.
Pero el resto de la industria continúa avanzando.Para Amodei, algunos riesgos pueden aparecer precisamente porque todo el campo sigue aumentando capacidades simultáneamente. Si los modelos se vuelven más poderosos más rápido de lo que pueden evaluarse, una decisión individual de una compañía puede no ser suficiente para evitar una carrera hacia niveles de capacidad que nadie sabe controlar adecuadamente.
Esa diferencia también produce dos ideas distintas sobre regulación. Huang confía principalmente en ingeniería, responsabilidad empresarial y leyes existentes. Amodei considera que la coordinación voluntaria puede ser útil, pero sostiene que una regulación dirigida a todos los laboratorios frontera sería la forma más efectiva de impedir que quienes no quieran participar continúen acelerando mientras otros se contienen.
El debate ya divide a la industria
El choque en Dreamforce ocurre después de que la discusión sobre ralentizar la IA dejara de ser una posición marginal dentro del sector. Amodei pidió recientemente una desaceleración coordinada después de varios incidentes relacionados con agentes autónomos y advirtió que sistemas con capacidades mayores podrían causar daños mucho más graves si conservan problemas similares de alineación y control.
Sam Altman, Elon Musk y otros dirigentes del sector también han respaldado distintas formas de reducir el ritmo o reforzar salvaguardas, aunque sus propuestas no son idénticas. Mark Zuckerberg, en cambio, defendió esta semana una posición más cercana a la de Huang: considera que los laboratorios tienen incentivos comerciales y legales suficientes para desarrollar sistemas seguros y que cada empresa puede reducir individualmente el ritmo cuando sea necesario.
La discusión empieza así a estructurarse alrededor de una pregunta que va más allá de las evaluaciones técnicas:
¿la seguridad de la IA debe depender principalmente de las decisiones de ingeniería de cada laboratorio o requiere mecanismos colectivos capaces de limitar el ritmo de toda la frontera?
Huang responde que las empresas deben seguir avanzando y detener sólo aquello que todavía no pueden asegurar. Amodei responde que, si todos continúan acelerando al mismo tiempo, llegará un punto en que detener un solo producto puede no ser suficiente.
