Resumen ejecutivo

• Un Agent Ops (o Agent Reliability Engineer) opera agentes de IA en producción: monitoreo, evals, prompts, costos, latencia e incidentes.

• El trabajo no termina al deploy: los agentes tienen inputs ilimitados y comportamiento no determinista, así que necesitás trazas, evaluadores online y loops de mejora.

• El stack típico combina observabilidad (por ejemplo LangSmith), datasets de fallas, CI/CD con evals offline y dashboards de negocio.

• Podés llegar desde automation, soporte, data o backend si demostrás ownership de calidad, costos y resolución de incidentes.

Muchas empresas ya probaron un chatbot o un flujo con LLM. El salto difícil es otro: mantener ese agente estable cuando lo usan cientos de personas por día. Ahí aparece el rol de Agent Ops: la persona que opera agentes en producción como si fueran un producto vivo, no un demo. ¿Por qué ahora? Porque la demanda de “agentes de IA” crece en búsquedas y en vacantes, y las compañías descubren que sin monitoreo, evals y control de costos el piloto se rompe. Si querés ver cómo distintas industrias llevan la IA a producción, complementá con IA en producción: casos y resultados por industria.

Qué es un Agent Ops y qué problema resuelve

Agent Ops (también aparece como Agent Reliability Engineer o AI Agent Operator) es el perfil que posee la salud del agente en producción: calidad de respuesta, errores silenciosos, costo por corrida, latencia, uso de herramientas y métricas de negocio asociadas. No alcanza con “que el modelo conteste”: hay que saber si contesta bien, cuánto cuesta, dónde falla y cómo evitar que el mismo bug vuelva.

Según el blog de LangChain sobre monitoreo de agentes en producción, los agentes no se observan como software tradicional: el espacio de inputs en lenguaje natural es infinito y los LLM son sensibles a cambios pequeños de phrasing. Por eso hace falta capturar conversaciones completas, trayectorias multi-paso y señales de calidad, no solo status codes y latencia HTTP.

Responsabilidades concretas del día a día

• Monitoreo: errores, corridas lentas o caras, fallas de tools, degradación de calidad.

• Evals: suites offline antes de release y evaluadores online sobre tráfico real (con sampling).

• Prompts y versión: cambios versionados, comparación de experimentos y rollback cuando baja la métrica.

• Costos y latencia: por modelo, por grafo, por caso de uso; recomendar caché, routing o modelo más barato.

• Incidentes: triage desde Slack/tickets, fix chico o escalamiento, y convertir la falla en test de regresión.

• Feedback loop: trazas malas → annotation queue → dataset → experimento → redeploy.

La documentación de LangSmith Evaluation separa bien dos modos: offline (datasets curados antes de shippear) y online (calidad en tráfico real). Un Agent Ops vive en ese ciclo: lo que se rompe en producción vuelve como caso de test.

Qué mirás en un dashboard (más allá del uptime)

• Tasa de task completion y satisfacción (thumbs / CSAT).

• Fallos de tool calls y orden incorrecto de pasos.

• Costo e tokens por conversación o por feature.

• Alertas cuando un evaluador online cae bajo un umbral.

Stack típico (orientativo)

No hay un único stack, pero en equipos que ya operan agentes suele aparecer:

• Orquestación: LangGraph / frameworks de agentes, APIs propias.

• Observabilidad y evals: LangSmith u otras plataformas de tracing + LLM-as-judge.

• Datos: Postgres/warehouse para métricas de adopción y ROI.

• Ops: alertas (webhook/PagerDuty), CI con evals en cada PR, playground para iterar prompts.

El rol se parece a un SRE, pero el “pago” no es solo CPU: es calidad conversacional, costo de inferencia y confianza del negocio. Si venís del lado de prompts, también te sirve mirar qué hace un Prompt Engineer en Argentina para entender el overlap (y la diferencia: Agent Ops se mide en producción continua).

Cómo llegar al rol desde automation, soporte o data

1. Desde automation (Make/n8n/Zapier + LLM): documentá incidentes, retries, costos y ownership de un flujo crítico.

2. Desde soporte / CS: convertí tickets recurrentes en datasets de evaluación y rubricas de calidad.

3. Desde data / analytics: armá dashboards de adopción, costo por usuario y alertas de drift.

4. Desde backend: sumá tracing de trayectorias, feature flags de prompts y gates de calidad en CI.

Evidencia que pesa en entrevista: un agente (aunque sea interno) con traces, 20–50 casos de eval, una alerta real que hayas disparado y un postmortem de un incidente de calidad.

Cómo se ve un incidente típico (y qué hace Agent Ops)

Imaginá un agente de soporte que de pronto empieza a pedir datos de más o a llamar mal una tool de refunds. Un APM clásico puede mostrar “200 OK”. El Agent Ops mira la traza completa: prompt del sistema, retrieval, tool calls, respuesta final y el score del evaluador online. Después:

1. Aísla el patrón (¿cambió el modelo? ¿hay un nuevo tipo de query?).

2. Mete ejemplos a una annotation queue para review humano.

3. Arma o actualiza un caso en el dataset de regresión.

4. Corre un experimento offline comparando prompt/grafo viejo vs nuevo.

5. Redeploy con gate de calidad y deja el postmortem en el canal del equipo.

Ese loop —producción → dataset → eval → release— es el corazón del rol. Sin él, cada “arreglo de prompt” es un salto de fe.

Métricas de negocio que también te tocan

Además de error rate, un Agent Ops maduro reporta adopción por equipo, horas ahorradas, tasa de handoff a humano y costo por conversación resuelta. Si no conectás calidad técnica con impacto, el agente queda como un experimento eterno.

Curso recomendado de Coderhouse

Si querés pasar de “probar prompts” a operar agentes con criterio de producto, el Curso de AI Agents te ordena diseño de agentes y tareas complejas. Para el puente desde automatización operativa, el Curso de AI Automation ayuda a integrar LLMs en flujos reales antes de escalar a producción.

CTA: esta semana elegí un flujo con LLM que ya uses, activá tracing, definí 3 métricas (calidad, costo, latencia) y armá un dataset con 15 fallas reales. Eso ya es portafolio de Agent Ops.

Preguntas frecuentes

¿Agent Ops es lo mismo que Prompt Engineer? No. Prompt Engineer itera instrucciones y outputs; Agent Ops sostiene el sistema en producción (monitoreo, evals, costos, incidentes) y cierra el loop con datasets.

¿Hace falta saber programar? En la mayoría de vacantes, sí (Python/SQL al menos). Podés entrar desde no-code si demostrás ownership de calidad y métricas, pero el techo sube con código y CI.

¿Qué herramientas debo conocer primero? Un framework de agentes, una plataforma de tracing/evals, Git básico y cómo armar un dataset de regresión a partir de fallas reales.

¿Cómo demuestro experiencia sin título “Agent Ops”? Mostrá un agente o automatización en uso real con traces, evals, alertas y un informe semanal de salud (errores, costo, adopción).