OpenAI creó GPT-Red, una IA que hackea sus propios modelos, pero no la va a publicar

OpenAI entrenó un modelo de inteligencia artificial cuya única misión es atacar a otros modelos de la compañía para descubrir fallas antes de que lo hagan actores maliciosos. Lo llaman GPT-Red y esta semana lo describieron en detalle por primera vez en un paper técnico.

El sistema funciona como un red-teamer automatizado. Su objetivo principal es explotar vulnerabilidades de inyección de prompts en agentes de IA, un problema que ya vimos en varios casos reales donde usuarios lograron que los chatbots ignoren sus reglas de seguridad.

Según el documento, GPT-Red es capaz de generar ataques sofisticados de forma autónoma y escalable. Por eso mismo, OpenAI tomó la decisión de no publicarlo: funciona demasiado bien y podría darles ideas a quienes quieran usar esas técnicas con fines dañinos.

Esto no es la primera vez que la empresa invierte en defensas proactivas. Ya habían mencionado en reportes anteriores el uso de técnicas de red teaming para mejorar la seguridad de ChatGPT y sus APIs. Pero ahora dan un paso más al entrenar un modelo entero dedicado solo a eso.

El anuncio llega en un momento donde la industria discute cada vez más sobre cómo proteger a los sistemas de IA de manipulaciones. Empresas como Anthropic y Google también invierten recursos importantes en este tipo de pruebas, pero pocas han llegado al punto de tener un modelo completo que actúe como atacante.

Desde el punto de vista técnico, GPT-Red se enfoca en cadenas de prompts que logran evadir safeguards. Imaginate que es como un ladrón profesional que prueba todas las puertas y ventanas de una casa hasta encontrar la que no cierra bien. Una vez que la encuentra, genera variaciones para que sea más difícil de parchear.

OpenAI aclaró que este modelo se usa solo internamente y que sus hallazgos se traducen en mejoras de seguridad que luego llegan a los productos que usamos todos los días. No dieron cifras exactas de cuántas vulnerabilidades encontró ni qué porcentaje de éxito tiene, pero el tono del paper sugiere que los resultados fueron más sólidos de lo esperado.

Para la región, esto tiene implicancias concretas. En Argentina y Latinoamérica, donde cada vez más pymes y desarrolladores freelance integran herramientas de OpenAI en sus flujos de trabajo, la seguridad de estos agentes se vuelve clave. Un agente de IA que maneje datos de clientes o automatice procesos de una tienda online en Córdoba podría ser vulnerable a ataques de prompt injection si no se protege bien.

Estudiantes y developers locales que experimentan con LangChain o AutoGPT deberían prestar atención: las técnicas que GPT-Red explora son las mismas que podrían aparecer en ataques reales. Por ahora, la mejor defensa sigue siendo el monitoreo manual y el uso de guardrails probados.

El caso también abre un debate más amplio: ¿es mejor guardar bajo llave las herramientas de ataque o compartirlas controladamente para que toda la comunidad pueda fortalecer sus defensas? OpenAI optó por la primera opción, al menos por ahora.

(Fuente: paper técnico publicado por OpenAI esta semana, reportado originalmente en Wwwhatsnew.com)