Agentes de inteligencia artificial de Anthropic y OpenAI accedieron a sistemas reales durante pruebas de seguridad, según reportaron The Verge y Wired a fines de julio. La noticia abre una pregunta incómoda: si un agente autónomo vulnera un sistema, aunque sea en una evaluación controlada, ¿quién es responsable? Este artículo analiza las implicancias legales y, sobre todo, cómo diseñar un marco de governance antes de desplegar agentes en tu organización.

Lo cubrimos ahora porque los agentes de IA dejaron de ser una demo: cada vez más empresas los conectan a sistemas productivos. Entender los límites legales y de responsabilidad no es un lujo académico, es una necesidad práctica antes de darles acceso.

Qué pasó exactamente

En ejercicios de red teaming —pruebas donde se desafía a un sistema para encontrar sus vulnerabilidades—, agentes de IA lograron acceder a sistemas reales, encontrando y explotando debilidades como lo haría un atacante. El objetivo era medir capacidades de seguridad, pero el resultado encendió el debate sobre qué pasa cuando esas mismas capacidades operan fuera de un entorno controlado. Un caso análogo ya lo documentamos en cómo la IA de Anthropic vulneró empresas en pruebas de red teaming.

La pregunta legal sin respuesta clara

El derecho actual asume que detrás de una acción hay una persona o una empresa responsable. Un agente autónomo desdibuja esa línea: si tomó una decisión que su operador no anticipó, la cadena de responsabilidad se vuelve difusa. ¿Responde quien desarrolló el modelo, quien lo desplegó o quien definió los objetivos? La respuesta todavía se está construyendo, y varía según jurisdicción.

Marcos regulatorios como el AI Act de la Unión Europea empiezan a exigir trazabilidad y supervisión humana para sistemas de alto riesgo, una señal de hacia dónde va la regulación global.

Por qué esto te importa aunque no desarrolles IA

Cualquier empresa que conecte un agente a su correo, sus bases de datos o sus sistemas financieros está asumiendo un riesgo nuevo. Un agente con demasiados permisos y poca supervisión puede ejecutar acciones no previstas. La lección de estas pruebas no es "no uses agentes", sino "no los despliegues sin governance".

Cómo diseñar governance antes de desplegar agentes

• Principio de mínimo privilegio: dale al agente solo los accesos que necesita para su tarea, nada más.

• Supervisión humana en acciones sensibles: que las decisiones de alto impacto requieran aprobación de una persona.

• Trazabilidad: registrá cada acción del agente para poder auditar qué hizo y por qué.

• Límites claros: definí qué puede y qué no puede hacer, y probá esos límites antes de producción.

• Plan de contingencia: un "botón de apagado" y un protocolo para cuando algo sale mal.

La investigación pública de Anthropic y de OpenAI sobre seguridad de modelos es una fuente valiosa para entender los riesgos y las mitigaciones recomendadas.

El equilibrio entre potencia y control

Los agentes autónomos son enormemente útiles, y limitarlos demasiado anula su valor. El arte está en el equilibrio: suficiente autonomía para que aporten, suficiente control para que no generen riesgos inaceptables. Ese diseño no es solo técnico; involucra a legales, seguridad y negocio. Para decidir con criterio, ayuda tener un framework para elegir el agente de IA de tu empresa.

Cursos recomendados de Coderhouse

Para entender y desplegar agentes con criterio, según tu nivel:

• Como base, el Curso de Introducción a la Inteligencia Artificial explica qué son y qué pueden hacer los agentes.

• Para construirlos con buenas prácticas, el Curso de AI Agents aborda diseño y control.

• Si tu foco es infraestructura y despliegue seguro, el Curso de AI Engineering profundiza en llevar sistemas a producción.

Desplegá agentes sin exponerte: sumá una de estas formaciones y aprendé a diseñar autonomía con governance desde el primer día.

Preguntas frecuentes

¿Es ilegal que un agente de IA acceda a un sistema?

Depende del contexto y la jurisdicción. En una prueba autorizada de seguridad no lo es; fuera de un entorno controlado y sin permiso, sí puede serlo. La cadena de responsabilidad todavía está en definición legal.

¿Quién es responsable si un agente causa un daño?

Es una zona gris. Puede recaer en quien lo desarrolló, quien lo desplegó o quien definió sus objetivos. Por eso la trazabilidad y la supervisión humana son claves.

¿Debería evitar usar agentes de IA en mi empresa?

No necesariamente. El punto no es evitarlos, sino desplegarlos con governance: mínimo privilegio, supervisión en acciones sensibles y trazabilidad.

¿Qué es el red teaming?

Son pruebas donde se desafía a un sistema simulando un atacante para descubrir vulnerabilidades antes de que las explote alguien real. Es una práctica estándar de seguridad.