Anthropic propuso tres mediciones para comprender con mayor precisión el ritmo de desarrollo de la inteligencia artificial (IA) de frontera, en un escenario marcado por el aumento de las capacidades de estos sistemas y por su creciente participación en tareas vinculadas con su propio desarrollo.

La iniciativa se conoce después de que Dario Amodei, director ejecutivo de Anthropic, advirtiera sobre la necesidad de frenar el desarrollo de la IA de frontera debido a los riesgos que pueden implicar sus capacidades avanzadas para la sociedad. Entre las preocupaciones mencionadas se encuentran la desalineación y la automejora recursiva.

La desalineación describe los casos en los que el comportamiento de un sistema de IA no coincide con los valores, intereses o intenciones humanas esperados. La automejora recursiva, en tanto, refiere a la posibilidad de que un sistema diseñe y desarrolle de manera autónoma a una versión sucesora.

Según Anthropic, esos fenómenos requieren nuevas herramientas de medición para comprender el desarrollo de los modelos en los laboratorios de vanguardia. El primer indicador buscará establecer cuán avanzada se encuentra la autoconstrucción de una nueva versión de la IA.

La segunda métrica estará enfocada en la capacidad de una empresa para supervisar e intervenir en las acciones que los agentes ejecuten dentro de sus sistemas. La tercera medirá los recursos de cómputo necesarios para desarrollar los modelos más capaces.

El objetivo de estas mediciones es aportar elementos para evaluar la velocidad con la que progresa la IA de frontera y precisar el nivel de control existente sobre sistemas cada vez más potentes. Anthropic considera que esos tres aspectos resultan críticos para comprender la evolución de la tecnología y sus posibles riesgos.