Expertos exigen independencia en la evaluación de IA

Más de 100 investigadores y especialistas en inteligencia artificial firmaron una carta pública para pedir condiciones que permitan una evaluación de IA realmente independiente. La iniciativa, organizada por el AI Evaluator Forum, plantea que los equipos externos no sean propiedad ni estén gobernados por los laboratorios que examinan, conserven control editorial sobre sus conclusiones y tengan acceso suficiente a sistemas todavía no publicados. También solicita protección frente a posibles represalias por resultados desfavorables. Entre los firmantes se encuentra Geoffrey Hinton, junto con especialistas vinculados a instituciones académicas y organizaciones dedicadas a la seguridad de sistemas avanzados. El llamado busca establecer condiciones mínimas para que la supervisión externa de modelos de frontera resulte creíble.

La evaluación de IA requiere independencia, afirman expertos

La carta organizada por el AI Evaluator Forum sostiene que una evaluación externa sólo puede ser creíble si existe separación suficiente entre quien desarrolla un modelo y quien determina sus riesgos. Entre las condiciones propuestas está que las organizaciones evaluadoras no sean propiedad ni estén gobernadas por las empresas de IA que analizan.

También plantea que los pagos o incentivos económicos no dependan del resultado de una evaluación de IA. Los firmantes consideran que estas condiciones son necesarias para preservar la objetividad científica y reducir conflictos de interés.

Acceso a modelos no publicados y comunicación con empleados

Otra de las demandas es que los evaluadores tengan acceso equivalente, para los fines de su trabajo, al de empleados internos con responsabilidades avanzadas de seguridad. Esto podría incluir sistemas todavía no publicados, herramientas, datos y espacios físicos relevantes.

La propuesta contempla además comunicación directa y confidencial con personal de las compañías. Conrad Stosz, presidente del AI Evaluator Forum, argumentó que este nivel de acceso permitiría tener mayor certeza sobre los riesgos reales de los sistemas examinados.

Protección frente a represalias y control editorial

Los firmantes solicitan que los evaluadores puedan publicar sus hallazgos y conservar control editorial, con límites específicos para proteger propiedad intelectual, información sensible de clientes, privacidad, seguridad y otros intereses críticos.

La carta pide además mecanismos que protejan a los equipos de evaluación frente a represalias por utilizar métodos razonables o presentar conclusiones desfavorables. Entre las salvaguardas mencionadas se encuentran protecciones frente a litigios retaliatorios y esquemas de financiamiento que reduzcan la dependencia de las empresas evaluadas.

La evaluación de IA gana espacio entre los laboratorios de frontera

La iniciativa aparece después de que Dario Amodei, director ejecutivo de Anthropic, propusiera proporcionar a evaluadores externos un acceso similar al de empleados para revisar modelos de frontera y sus procesos de desarrollo. De acuerdo con Quartz, líderes de otras compañías tecnológicas han expresado respaldo general a una mayor evaluación independiente, aunque persisten interrogantes sobre selección, acceso y condiciones concretas.

La carta sostiene que incorporar evaluadores externos no sustituye otras formas de supervisión. Sus promotores lo presentan como un complemento de una mayor transparencia pública y de mecanismos adicionales de acceso para investigadores independientes.

Independencia y acceso definirán la credibilidad de las auditorías

El planteamiento desplaza la discusión desde la existencia de auditorías hacia las condiciones bajo las cuales se realizan. Una evaluación de IA con acceso técnico suficiente, autonomía editorial, financiamiento estable y protección frente a interferencias podría ofrecer información más verificable sobre los riesgos de sistemas cada vez más capaces.