El Proyecto Especial de Estudios Competitivos (SCSP, por sus siglas en inglés), una iniciativa sin fines de lucro y no partidista centrada en fortalecer la competitividad a largo plazo de Estados Unidos en inteligencia artificial, ha emitido una severa advertencia sobre la rápida evolución de la inteligencia artificial (IA) agente. A diferencia de los sistemas de IA convencionales que generan respuestas basadas en indicaciones, la IA agente puede establecer metas de forma independiente, crear planes y ejecutar tareas de múltiples pasos con una supervisión humana mínima. Según los expertos del SCSP, 'la IA está empezando a ayudar a construir una mejor IA', creando potencialmente un bucle de autoaceleración donde el desarrollo de capacidades de IA se multiplica mucho más allá de las proyecciones actuales.
Ylli Bajraktari, presidente del SCSP, enfatizó las implicaciones de seguridad en un boletín reciente sobre IA agente. 'Un agente que puede navegar sistemas burocráticos complejos, identificar vulnerabilidades explotables y actuar sin dejar un rastro de atribución claro representa una expansión cualitativa de la capacidad adversarial', afirmó. Bajraktari advirtió que los adversarios probablemente desplegarán sistemas de IA agente en áreas donde la gobernanza es más débil, utilizándolos para coerción, espionaje y operaciones de influencia.
Contrario a los supuestos políticos comunes, la gobernanza efectiva de la IA agente no se centra en el modelo de IA en sí, sino en el 'andamiaje' construido a su alrededor, explicaron los expertos del SCSP. Este andamiaje incluye conectores que vinculan el modelo con infraestructura del mundo real, como correo electrónico, sistemas de reservas y plataformas financieras; memoria que permite al sistema aprender y adaptarse con el tiempo; capacidades de planificación que dividen grandes objetivos en tareas más pequeñas; estructuras de permisos que definen el acceso del sistema; y barreras de protección que determinan lo que el sistema se negará a hacer, como límites de gasto o aprobaciones humanas obligatorias.
La rendición de cuentas sigue siendo un desafío crítico, ya que la gobernanza se queda corta en tres áreas clave. Primero, la responsabilidad a menudo no es rastreable cuando la IA actúa de forma autónoma: no hay una forma clara de determinar quién autorizó qué. Segundo, los marcos actuales típicamente solo evalúan si una tarea se completó, no si se realizó de manera segura o causó daño. Tercero, la IA agente construye perfiles personales acumulando datos sensibles sobre patrones de comportamiento, preferencias e inferencias, potencialmente excediendo lo que los individuos desean compartir.
A pesar de estas preocupaciones, el SCSP enfatiza que la IA agente no es una tecnología que deba temerse o posponerse. 'Las instituciones que prioricen entender, dar forma y gobernar la IA agente determinarán su propia posición competitiva y también impactarán el carácter del entorno en el que opera la IA agente a nivel global', señalaron los expertos. Para Estados Unidos, una gobernanza proactiva es esencial para mitigar riesgos y aprovechar el potencial de la tecnología. Más información está disponible en scsp.ai.
