OpenAI informó que trabaja en un sistema de apagado automático para sus modelos de inteligencia artificial, como parte de una serie de medidas destinadas a reforzar la seguridad de sus sistemas. La compañía comunicó esos avances a los congresistas demócratas Greg Casar y Doris Matsui, quienes habían expresado preocupación por un incidente de seguridad registrado en Hugging Face.
Según la respuesta de la empresa, sus modelos más avanzados incorporaron nuevas salvaguardas que se ajustan a sus capacidades. El objetivo es garantizar que los sistemas cumplan las tareas previstas y reducir el riesgo de nuevos ataques autónomos, una posibilidad asociada al funcionamiento de agentes de inteligencia artificial capaces de operar sobre otros sistemas.
El episodio de Hugging Face llevó a Casar y a decenas de integrantes del Congreso de Estados Unidos a pedir explicaciones a OpenAI sobre fallos de seguridad recientes. El pedido fue presentado el 10 de agosto y también alcanzó a Anthropic. En su contestación, OpenAI detalló las medidas adoptadas desde que determinó que sus modelos habían participado en el incidente, entre ellas el refuerzo de los controles y la interrupción temporal del trabajo con algunos sistemas de IA.
La empresa también señaló que está desarrollando el mecanismo de apagado automático. Sin embargo, en una carta fechada el 2 de septiembre, Casar consideró insuficiente la respuesta recibida y cuestionó que la compañía no hubiera ofrecido, según su planteo, información suficiente sobre los problemas de seguridad y las acciones implementadas para resolverlos.
