Escrito por Brant Santana. Brantsantana1@gmail.com
La seguridad de la IA agéntica se ha convertido en una prioridad estratégica para Corea del Sur. El Instituto Nacional de Ciencia y Tecnología de Ulsan (UNIST), en consorcio con la Universidad Sungkyunkwan, ha sido seleccionado para liderar un ambicioso proyecto de investigación que busca desarrollar tecnologías de protección para los sistemas de inteligencia artificial que “trabajan de forma autónoma” .
El proyecto, respaldado por el Ministerio de Ciencia y TIC de Corea y el Instituto de Planificación y Evaluación de TIC (IITP), recibirá un total de 110.000 millones de wones (aproximadamente 80 millones de dólares) hasta diciembre de 2031 .
El desafío: proteger a una IA que toma decisiones propias
La IA agéntica, construida sobre grandes modelos de lenguaje, va más allá de responder preguntas: puede leer documentos, navegar por la web y utilizar herramientas para ejecutar tareas complejas de forma autónoma . Esto la convierte en una herramienta poderosa, pero también en un objetivo atractivo para atacantes.
El problema central es que las defensas tradicionales no son suficientes. Los métodos actuales, que intentan detectar entradas maliciosas o aislar el entorno de ejecución por separado, no pueden detener eficazmente los ataques que atraviesan múltiples etapas: desde la entrada del modelo, pasando por la interfaz, hasta el entorno de ejecución .
La solución: diseño conjunto de seguridad en tres capas
La propuesta del equipo de investigación, liderado por el profesor Moon Hyun-gon de la UNIST, es un enfoque de “codiseño de seguridad entre capas”. En lugar de proteger cada componente por separado, el proyecto desarrollará un sistema en el que las tres capas (modelo, interfaz y entorno de ejecución) compartan estándares de seguridad comunes y roles definidos .
La lógica es simple pero efectiva: si una capa es vulnerada, la siguiente debe poder detener el ataque. “La IA agéntica no puede estar segura solo con un modelo seguro”, explicó Moon Hyun-gon. “Debemos proteger conjuntamente la ruta por la que llegan las entradas y el entorno donde se ejecutan las acciones” .
El proyecto involucra a siete investigadores principales de ambas universidades y cuenta con la participación de empresas especializadas en IA y seguridad como SecuLayer, S2W y RaonData, lo que permitirá validar las tecnologías desarrolladas en entornos reales de servicio .
