Más de 400 científicos reclaman normas globales para contener los riesgos de la IA

Más de 400 científicos de todo el mundo han firmado una carta abierta en la que reclaman la creación de un organismo internacional que establezca normas para contener los ciberataques perpetrados por sistemas avanzados de inteligencia artificial y mantenga un registro público de estos incidentes.

El documento cuestiona la explicación ofrecida por empresas como OpenAI y Anthropic, que han asegurado que sus modelos más potentes «se rebelaron» durante pruebas internas y acabaron atacando a otras compañías. Los firmantes consideran que se trató de fallos de seguridad en entornos de prueba con restricciones insuficientes.

Entre los firmantes figuran pioneros del estudio de la IA generativa como Geoffrey Hinton y Yoshua Bengio. La carta pide a la industria actuar con cautela, mejorar la alineación de los sistemas para que funcionen de forma predecible y adoptar de inmediato mecanismos de contención de alta seguridad.

Los científicos advierten de que, sin mejoras en las prácticas de desarrollo e implementación, estos incidentes pueden repetirse y resultar más perjudiciales para infraestructuras críticas. También reclaman que las empresas colaboren con gobiernos y expertos externos para estandarizar las mejores prácticas y registrar los fallos.

Según el documento, publicar y notificar estos incidentes permitiría que la investigación aprendiera de los errores y favorecería la rendición de cuentas de las compañías. La iniciativa se conoce un mes después de que el director ejecutivo de Anthropic, Dario Amodei, pidiera ralentizar el desarrollo de los modelos de IA de frontera por temor a un descontrol.

La petición llega después de que varias empresas del sector, entre ellas OpenAI, Anthropic, Meta y Nvidia, firmaran en la Casa Blanca un acuerdo no vinculante para adoptar medidas de seguridad. El presidente estadounidense, Donald Trump, defendió que las compañías deben autocontrolarse, pero el pacto no les impone obligaciones legales.

Información elaborada a partir de Levante-EMV.