En un movimiento innovador, la conferencia de hackers Defcon 2023 en Las Vegas presenció una colaboración entre empresas de tecnología de IA y grupos de integridad y transparencia algorítmica para identificar vulnerabilidades en plataformas de IA generativa. Este ejercicio de «red-teaming», respaldado por el gobierno de EE. UU., tuvo como objetivo arrojar luz sobre la naturaleza cada vez más influyente pero opaca de estos sistemas críticos. Al abrirlos a escrutinio, los participantes desempeñaron un papel crucial al resaltar posibles debilidades en la tecnología de IA.
Tras el éxito del ejercicio de red-teaming en Defcon, la organización sin ánimo de lucro de AI ética y evaluación algorítmica, Humane Intelligence, está llevando la iniciativa más lejos. El grupo anunció recientemente una convocatoria de participación en colaboración con el Instituto Nacional de Normas y Tecnología de EE. UU. Este esfuerzo nacional de red-teaming invita a residentes de EE. UU. a evaluar software de productividad de oficina de IA a través de una ronda clasificatoria como parte de los desafíos de IA de NIST conocidos como Evaluación de Riesgos e Impactos de IA (ARIA). El objetivo de esta iniciativa es mejorar las capacidades para realizar pruebas rigurosas de seguridad, resiliencia y ética de las tecnologías de IA generativa.
Según Theo Skeadas, Jefe de Gabinete de Humane Intelligence, la democratización de los procesos de evaluación es esencial. Permite a los usuarios evaluar si los modelos de IA satisfacen sus necesidades de manera efectiva. Al empoderar a las personas para realizar evaluaciones, la iniciativa busca promover la transparencia y la responsabilidad en el desarrollo e implementación de tecnologías de IA. Los participantes que pasen la ronda clasificatoria participarán en un evento de red-teaming en persona en la Conferencia sobre Aprendizaje Automático Aplicado en Seguridad de la Información (CAMLIS) en Virginia.
Rumman Chowdhury, fundador de Humane Intelligence y miembro de la Oficina de Tecnologías Emergentes de NIST, enfatiza la importancia de la retroalimentación estructurada de los usuarios en la evaluación de modelos de IA. La iniciativa ARIA, liderada por expertos en pruebas y evaluación sociotécnica, busca dirigir el campo hacia una evaluación científica más rigurosa de la IA generativa. Esta asociación con NIST es solo el inicio de una serie de colaboraciones que Humane Intelligence anunciará en el futuro, involucrando a agencias gubernamentales de EE. UU., gobiernos internacionales y ONGs. Chowdhury y Skeadas destacan la importancia de la participación de la comunidad en la evaluación de sistemas de IA. Consideran que el proceso no debería limitarse a programadores, sino que también debería incluir a formuladores de políticas, periodistas, sociedad civil e individuos no técnicos. Al fomentar una participación diversa en la prueba y evaluación de tecnologías de IA, la iniciativa busca promover la transparencia, la responsabilidad y los estándares éticos en toda la industria.
Deja una respuesta