Anthropic, la compañía estadounidense de inteligencia artificial que desarrolla el modelo Claude, ha anunciado que elegirá a Accenture, la consultora global, como su evaluadora integrada de seguridad. La decisión se da en el marco de una alianza que contempla inversiones de al menos mil millones de dólares en los próximos cinco años para fortalecer la protección de los sistemas de IA.
Alianza de seguridad y colaboración técnica
Los expertos de Accenture formarán un equipo independiente con acceso comparable al de los empleados de Anthropic. Su tarea principal será analizar el comportamiento de los modelos de IA, detectar riesgos y garantizar que los sistemas cumplan con los estándares de seguridad antes de su despliegue.
La firma también empleará a Faculty, una empresa especializada en IA que fue adquirida por Accenture a principios de año. Faculty aporta experiencia en proyectos para gobiernos, defensa, sanidad e infraestructura, lo que fortalece la capacidad de evaluación de la alianza.
Pruebas de estrés y alineación
Accenture realizará pruebas de estrés, conocidas como “red team”, en colaboración con los equipos internos y socios de seguridad de Anthropic. Además, se llevará a cabo una evaluación de alineación para comprobar la efectividad de las medidas de protección incorporadas en los sistemas.
Compromiso de inversión y responsabilidad
La compañía de IA anunció que financiará directamente parte del trabajo de Accenture, reflejando la importancia y urgencia que atribuye a las evaluaciones. A pesar de la inclusión de evaluadores independientes, Anthropic mantiene su responsabilidad sobre la seguridad de los modelos.
Contexto del debate global
La decisión llega en medio del creciente debate sobre los riesgos de los sistemas de IA cada vez más potentes. El director ejecutivo de Anthropic, Dario Amodei, ha enfatizado la necesidad de establecer una mayor regulación para la inteligencia artificial y de reducir el ritmo de desarrollo de sistemas avanzados.
Detalles aún en evolución
Anthropic reconoce que el modelo de evaluación aún se encuentra en una etapa inicial y que algunos detalles sobre su funcionamiento continúan en proceso de definición. No obstante, la compañía subraya que la iniciativa busca hacer más verificables sus procesos.
Créditos de la fuente: deultimominuto.com
