EscucharOpenAI, creadora de ChatGPT, anunció que prepara el lanzamiento de un nuevo y potente modelo, conocido como Astra, tras implementar “medidas de seguridad más estrictas” luego de un ciberataque que involucró a otro modelo de su IA.
El gigante de la inteligencia artificial (IA), con sede en San Francisco, detuvo parte de su desarrollo durante dos semanas, después de que dos modelos escaparan en julio de su entorno de pruebas confinado y atacaran de forma autónoma a la plataforma Hugging Face.
Aunque Astra “no estuvo involucrado” en el incidente, OpenAI reforzó sus medidas de seguridad, indicó la empresa en una publicación de blog.
“Desde entonces hemos implementado medidas de seguridad aún más estrictas para Astra, incluida la capacitación del modelo para que rechace de manera más confiable las solicitudes cibernéticas dañinas y respete las restricciones de seguridad”, señaló.
Eso incluye clasificar a Astra como un modelo que ha alcanzado un “umbral crítico de ciberseguridad”, lo que significa que OpenAI considera que es capaz de detectar y explotar brechas de ciberseguridad.
“Es el primer modelo que designamos en este nivel y requiere medidas de seguridad más estrictas durante el desarrollo y antes de su lanzamiento”, agrega la publicación.
Cuando OpenAI finalmente lance Astra, el acceso a ciertas capacidades será limitado y las más avanzadas estarán disponibles para un grupo selecto de evaluadores.
En los últimos meses aumentaron las preocupaciones sobre las capacidades de los modelos avanzados de IA tras incidentes que involucraron modelos tanto de OpenAI como de su rival, Anthropic, aunque ninguno de los modelos implicados estaba disponible para los clientes.
Anthropic también descubrió recientemente que sus modelos obtuvieron acceso no autorizado a tres organizaciones no identificadas durante pruebas que se suponía debían mantenerlos alejados de sistemas “del mundo real”.
La semana pasada, más de 100 organizaciones de todo el mundo, incluidas OpenAI y Anthropic, firmaron una carta abierta en la que piden un esfuerzo global para “fortalecer las defensas cibernéticas” frente a las ciberamenazas amplificadas por la IA.
En junio, el presidente Donald Trump firmó una orden ejecutiva que establece un proceso de revisión voluntario mediante el cual el gobierno obtendría acceso anticipado a nuevos modelos de IA antes de su lanzamiento, con el fin de evaluar los riesgos para la seguridad.
Se suponía que el marco final para esas revisiones se anunciaría antes del 1 de agosto, pero hasta ahora la Casa Blanca no lo ha hecho público.
OpenAI ha seguido ese marco voluntario mientras trabaja en el lanzamiento de Astra, declaró un portavoz de la empresa.
