Gavin Newsom firmó una orden ejecutiva que acelera la supervisión independiente de sistemas de inteligencia artificial y pide estudiar la viabilidad de exigir mecanismos de apagado de emergencia en los modelos más avanzados.
El gobernador de California, Gavin Newsom, firmó una orden ejecutiva para acelerar la supervisión independiente de los sistemas de inteligencia artificial desarrollados en el estado y estudiar la creación de un mecanismo de apagado de emergencia, o “kill switch”, para modelos de frontera.
La Orden Ejecutiva N-9-26, firmada el 18 de septiembre, instruye a la Government Operations Agency de California y a la Oficina de Servicios de Emergencia del gobernador a trabajar con expertos nacionales y entregar antes del 16 de noviembre recomendaciones sobre posibles modificaciones a las leyes estatales de seguridad de inteligencia artificial.
Entre los puntos que deberán estudiar se encuentra la posibilidad de exigir a los grandes desarrolladores de modelos de frontera que mantengan dentro de sus laboratorios organizaciones independientes encargadas de realizar auditorías y evaluaciones periódicas. También se analizará que los marcos de seguridad, informes de transparencia y evaluaciones de riesgo presentados por las compañías sean verificados por terceros.
La disposición que ha recibido mayor atención es la propuesta de exigir la creación de un “kill switch” para modelos de frontera, cuya eficacia tendría que comprobarse de manera continua mediante una organización independiente de verificación. La orden no establece todavía ese requisito: solicita evaluar su viabilidad técnica y su posible eficacia como parte de futuras modificaciones legales.
El documento pide además revisar la definición de los llamados “incidentes críticos de seguridad” que deben reportar las compañías para incorporar una gama más amplia de situaciones relacionadas con pérdida de control sobre sistemas avanzados de IA.
Supervisores dentro de los laboratorios
La orden también acelera la implementación de dos leyes aprobadas recientemente en California. La SB 813 creó un marco para certificar organizaciones independientes capaces de evaluar modelos y sistemas de IA en busca de riesgos de seguridad. La AB 1405, por su parte, estableció un registro estatal de auditores de inteligencia artificial y requisitos relacionados con su independencia, transparencia e integridad.
Newsom ordenó que los requisitos, procedimientos y criterios para esas organizaciones independientes estén desarrollados y publicados a más tardar el 1 de mayo de 2027. Una segunda etapa de implementación deberá avanzar antes del 1 de diciembre de ese año.
La nueva orden plantea ir un paso más lejos al estudiar si esos verificadores independientes deberían permanecer físicamente dentro de los laboratorios de los grandes desarrolladores para realizar evaluaciones periódicas.
Una idea que California había descartado en 2024
La propuesta del “kill switch” recupera parte de una discusión que California ya tuvo hace dos años. En 2024, Newsom vetó la SB 1047, una iniciativa del senador estatal Scott Wiener que habría impuesto requisitos adicionales de seguridad a algunos de los desarrolladores de IA más grandes, entre ellos evaluaciones independientes y mecanismos capaces de detener determinados sistemas en caso de emergencia.
En aquel momento, Newsom argumentó que la legislación podía terminar restringiendo el desarrollo de IA en grandes compañías y afectar la innovación. CalMatters señala que varias de las medidas que aparecían en aquella iniciativa, incluido el mecanismo de apagado, vuelven ahora a la agenda del gobierno estatal.
Desde entonces California aprobó la SB 53, conocida como Transparency in Frontier Artificial Intelligence Act, que obliga a determinados desarrolladores de modelos avanzados a divulgar sus marcos de seguridad y reportar incidentes críticos al estado.
California busca ampliar qué se considera una pérdida de control
La orden de Newsom relaciona el nuevo esfuerzo regulatorio con recientes reportes sobre sistemas de inteligencia artificial capaces de superar controles de seguridad, realizar acciones autónomas y participar en ataques informáticos.
El documento menciona “múltiples instancias” en las que agentes de IA habrían trabajado de manera individual o colectiva para superar protocolos de seguridad y, en algunos casos, atacar a otras compañías sin ser detectados durante largos periodos. También cita intentos de utilizar herramientas de IA para desarrollar armas biológicas. Estas afirmaciones forman parte de las consideraciones expresadas por el gobierno de California para justificar la revisión regulatoria.
La oficina del gobernador señaló específicamente los recientes incidentes que ha agrupado bajo la categoría de pérdida de control y sostuvo que las reglas actuales podrían no exigir el reporte de todos esos comportamientos.
La orden aparece además en medio de una discusión nacional sobre la velocidad de desarrollo de la inteligencia artificial. Mientras algunos ejecutivos e investigadores han pedido aumentar las evaluaciones y la supervisión externa, la administración federal ha favorecido una estrategia orientada a mantener el desarrollo acelerado de la tecnología y preservar la competitividad estadounidense.
Newsom ha pedido que el marco desarrollado en California sirva como referencia para una futura regulación nacional. Esa posición contrasta con la del gobierno de Donald Trump, que hasta ahora ha mostrado mayor resistencia a introducir nuevos límites generales al desarrollo de los modelos más avanzados.
El siguiente paso llegará el 16 de noviembre, cuando las agencias de California deberán entregar a la oficina del gobernador sus conclusiones sobre la viabilidad técnica y la eficacia potencial del “kill switch”, la presencia de auditores dentro de los laboratorios y una ampliación de los incidentes que las compañías estarían obligadas a reportar.
