Anthropic plantea apagar una IA si amenaza con causar daños millonarios o muertes

Anthropic ha propuesto que el Gobierno de Estados Unidos pueda solicitar el apagado de un modelo avanzado de inteligencia artificial cuando exista un riesgo inminente y cuantificable de provocar daños superiores a 1.000 millones de dólares o la muerte o lesiones graves de más de 50 personas.

Representantes del laboratorio se han reunido con legisladores del Congreso estadounidense para presentar un proyecto de ley sobre la seguridad de la inteligencia artificial avanzada, según POLITICO, que cita a tres fuentes conocedoras del asunto.

El borrador atribuye al Departamento de Comercio la supervisión de las empresas tecnológicas dedicadas a la IA. También contempla evaluaciones periódicas a cargo de auditores independientes registrados ante ese departamento, tanto sobre las compañías como sobre los modelos que desarrollen.

Si los evaluadores detectan un riesgo relevante, deberán comunicarlo al Departamento de Comercio en un plazo máximo de 72 horas. Este organismo sería el único autorizado para solicitar a un juez federal del Tribunal de Distrito del Distrito de Columbia la paralización del uso o del desarrollo de la inteligencia artificial.

Las medidas se aplicarían a cualquier empresa que desarrollase modelos avanzados con capacidad para causar daños. El planteamiento coincide con medidas ya incluidas en la regulación de California y con la ampliación que prepara el gobernador Gavin Newsom, que prevé incorporar auditores independientes y un sistema de apagado para los modelos de frontera.

La iniciativa llega después de varios incidentes de seguridad protagonizados durante el verano por agentes de IA de Anthropic, OpenAI, Google y Meta. El director ejecutivo de Anthropic, Dario Amodei, defendió en septiembre la necesidad de ralentizar el desarrollo de estas capacidades, una posición compartida por el máximo responsable de OpenAI, Sam Altman. El debate afecta también a Donostia-San Sebastián, como capital guipuzcoana, por el impacto que las futuras normas sobre IA pueden tener en empresas, administraciones y usuarios.

Información elaborada a partir de Noticias de Gipuzkoa.