Qué hace
El agente reduce el tiempo desde el disparo de la alerta hasta la primera acción significativa: el propio MTTM (Mean Time To Mitigate), que determina cuánto sufren realmente los clientes a causa de un incidente.
Funciona como una combinación de monitorización, orquestación de guías de respuesta y comunicaciones con los responsables de guardia, convirtiendo señales dispersas en un único proceso gestionado.
Qué hace el agente paso a paso
- Recibe señales brutas de los sistemas de observabilidad —métricas, registros, trazas, comprobaciones de estado, alertmanager— y agrupa los duplicados en un único incidente mediante claves de correlación.
- Clasifica el incidente por gravedad (SEV1-SEV4) y dominio (BD, API, red, despliegue, proveedor externo) en función de patrones históricos y reglas predefinidas.
- Recopila el contexto: últimos despliegues, cambios de indicadores de funcionalidad, incidentes similares del pasado, lista de responsables del componente, SLO/SLA del servicio.
- Enruta la alerta al canal de comunicación correcto: uno, y no cinco. El responsable de guardia recibe un resumen compacto en Slack o PagerDuty en lugar de una decena de alertas idénticas.
- Selecciona la guía de respuesta adecuada de la biblioteca y propone su ejecución con una evaluación de los riesgos de cada paso.
- A petición del responsable de guardia, ejecuta los pasos de la guía de respuesta con confirmaciones intermedias: antes de cada acción de modificación muestra exactamente qué se realizará y qué consecuencias se esperan.
- Documenta la línea de tiempo del incidente: quién hizo qué, cuándo y con qué efecto. Prepara un borrador de postmortem con hechos, no suposiciones.
Qué no hace el agente
- No toma decisiones de reversión, conmutación por error o drenaje sin la confirmación explícita del ingeniero de guardia: cada acción irreversible requiere confirmación, lo que protege de reversiones erróneas.
- No reemplaza la rotación de guardias ni elimina la responsabilidad del equipo: acelera al ingeniero, no lo sustituye.
- No adivina las causas de incidentes para los que no hay datos en la biblioteca de guías de respuesta o en los registros históricos. Las nuevas categorías de fallos se escalan a personas, y las lagunas en las guías se destacan en el informe posterior al incidente.
Cómo funciona
Bajo el capó: un agente orquestador sobre un marco de agentes (LLM como capa de razonamiento), conectado a las herramientas de observabilidad, al sistema de comunicaciones y a la biblioteca de guías de respuesta. El principio clave: todas las acciones con efectos secundarios pasan por el mecanismo de confirmación (el agente formula la intención, se la muestra a la persona y espera confirmación).
Flujo de procesamiento del incidente
La alerta llega a la cola del agente mediante webhook desde alertmanager, PagerDuty o DataDog. El agente normaliza el formato, verifica los incidentes abiertos (si hay duplicado) y enriquece el contexto con la API de monitorización y la CMDB. A continuación, la capa LLM clasifica el incidente y selecciona la guía de respuesta; esto es una llamada de salida estructurada independiente con validación por esquema JSON. El orquestador ejecuta la guía como un grafo de pasos: cada paso es de solo lectura (consulta de métricas, búsqueda en registros) o de modificación (reinicio de pod, cambio de indicador de funcionalidad, reversión de despliegue). Los pasos de modificación requieren la confirmación del operador de guardia.
Pasos de implantación
- Inventario: recopilar la lista de guías de respuesta (aunque estén en Confluence, en la cabeza del sénior o en gists) y catalogarlas por componentes y gravedad.
- Normalización de las guías: convertirlas a un formato legible por máquina: YAML, Markdown con frontmatter o DSL. Cada paso se etiqueta como de solo lectura o de modificación, con una acción de reversión explícita.
- Conexión de la observabilidad: configurar los webhooks de salida desde alertmanager/PagerDuty/DataDog al agente y mapear las etiquetas de las alertas con la clasificación de dominio.
- Integración de comunicaciones: bot de Slack para resúmenes y diálogos de confirmación, hilos por ID de incidente, enrutamiento de canal por equipo responsable.
- Configuración de la cadena LLM: clasificador, selector de guías de respuesta, generador de resúmenes. Cada llamada: salida estructurada con esquema JSON estricto.
- Piloto en 1-2 servicios: primero en modo sombra (el agente propone pero no actúa), luego con aprobación manual en todo, después con aprobación automática en los pasos de solo lectura.
- Ampliación al resto de equipos: a medida que se estabilizan las métricas de MTTM y crece la confianza de los operadores de guardia.
Componentes del sistema
Componente | Rol |
|---|---|
Receptor de alertas | Normalización de webhooks de monitorización, deduplicación por claves de correlación |
Clasificador | Clasificación LLM de gravedad y dominio con salida estructurada |
Almacén de guías de respuesta | Biblioteca de guías de respuesta en YAML/Markdown con versionado |
Orquestador | Ejecución paso a paso de la guía de respuesta, mecánica de confirmación en los pasos de modificación |
Adaptador de comunicaciones | Resúmenes, diálogos de confirmación, hilos en Slack |
Registro de auditoría | Línea de tiempo de todas las acciones del agente y del operador, entrada para el postmortem |
El almacén de guías de respuesta es un elemento crítico: si no hay guías o están desactualizadas, el agente trabaja en vacío. Las primeras semanas de implantación se dedican precisamente a la disciplina del equipo en su redacción. El registro de auditoría es el segundo elemento crítico: sin él, la mecánica de confirmación pierde sentido, porque no es posible reconstruir quién confirmó qué.
El agente opera en el ciclo razonamiento → acción → confirmación → observación hasta alcanzar un estado resuelto (las métricas vuelven a la normalidad) o una escalada (la persona toma el control, el agente pasa al rol de asistente y documenta las acciones del operador de guardia).
Requisitos previos
Para la implantación se necesita una madurez básica de los procesos: sin ella, el agente no tiene en qué apoyarse.
Datos y accesos
- Herramientas de observabilidad con webhook de alertas (Prometheus + alertmanager, DataDog, New Relic, Grafana, PagerDuty; cualquier herramienta moderna).
- Al menos 5-10 guías de respuesta escritas para las clases de incidentes más frecuentes. Pueden estar en Confluence, Notion o git; lo importante es que existan.
- Acceso a la API de los sistemas de infraestructura para acciones de modificación (kubectl, Terraform Cloud, plataforma de indicadores de funcionalidad, CI/CD).
- Canal de comunicaciones para incidentes (Slack o Teams) con permisos de bot para escritura, lectura de hilos y creación de canales.
- Historial de incidentes pasados de 3-6 meses para calibrar el clasificador.
Preparación del equipo
- Un responsable designado por parte de SRE/DevOps, encargado de la biblioteca de guías de respuesta y su vigencia.
- Cultura de postmortems sin culpables; de lo contrario, el agente que lo documenta todo generará resistencia.
- Los ingenieros de guardia están preparados para el nuevo flujo de trabajo con confirmaciones en lugar de acciones directas en la consola.
- Comprensión de que las primeras 2-4 semanas el agente trabajará en modo sombra sin acciones reales; esto no es un fracaso, sino la calibración del clasificador y del selector de guías de respuesta.
Cronograma
Un proyecto medio: 6-10 semanas desde la reunión de arranque hasta el uso productivo en varios servicios. Las primeras dos semanas, inventario y normalización de guías de respuesta; de la tercera a la quinta, integraciones con observabilidad y comunicaciones, piloto en modo sombra. De la sexta a la décima, ampliación del alcance y configuración de la aprobación automática para los pasos seguros de solo lectura.
Problemas
- Conocimiento en las cabezas, no en documentos
- Cambio constante de contexto
- Respuesta lenta a clientes
FAQ
¿Cuánto tiempo lleva la implantación?
6-10 semanas para un equipo SRE de tamaño medio. Las primeras 2 semanas se destinan al inventario y la normalización de las guías de respuesta; las semanas 3-5, a las integraciones con observabilidad y comunicaciones más el piloto en modo sombra; las semanas 6-10, a la ampliación del alcance a servicios adicionales y la activación gradual de la aprobación automática en los pasos de solo lectura. El ritmo depende en gran medida de si el equipo cuenta con guías de respuesta escritas al inicio o si hay que elaborarlas desde cero.
¿Qué hacer si no tenemos guías de respuesta en formato escrito?
Este es el obstáculo más frecuente para los equipos de pymes. Las primeras 2-3 semanas de implantación se convierten en la redacción disciplinada de guías de respuesta junto con los perfiles sénior; el agente en ese período ayuda a extraer los procedimientos de sus cabezas mediante entrevistas estructuradas y el análisis del historial de incidentes. Sin este trabajo, avanzar no tiene sentido: el agente no tiene en qué apoyarse, el clasificador trabaja a ciegas y el ROI no se materializa.
¿Cuáles son los riesgos y qué puede fallar?
El principal riesgo son los falsos positivos del clasificador en clases de incidentes poco frecuentes. Mitigación, mecánica de confirmación: las acciones de modificación requieren la confirmación del ingeniero de guardia; las operaciones irreversibles (reversión, drenaje, conmutación por error) siempre requieren aprobación explícita. El segundo riesgo es la degradación de la biblioteca de guías de respuesta con el tiempo. Un responsable por parte de SRE es imprescindible para que las guías no queden obsoletas y no confundan al agente.
¿Es la solución adecuada para nuestra industria?
La solución es óptima para SaaS/tecnología con herramientas de observabilidad y rotación de guardias. En escenarios horizontales universales —cualquier empresa con servicios en producción, ingenieros de guardia y alertas— también funciona. Para equipos con menos de 5 servicios e incidentes poco frecuentes (menos de 10 al mes), el ROI se materializa con menor intensidad que en empresas con una carga de incidentes regular, donde el MTTM impacta directamente en el SLA y los ingresos.
¿Se puede implantar sin reemplazar el PagerDuty o alertmanager actuales?
Sí. El agente se conecta sobre las herramientas existentes mediante webhooks y API: no reemplaza la monitorización y la notificación, sino que las complementa con una capa de clasificación, enriquecimiento de contexto y orquestación de guías de respuesta. PagerDuty continúa escalando según la rotación de guardias, alertmanager continúa deduplicando a nivel de fuentes y el agente se encarga del triaje, del resumen para el ingeniero de guardia y de la ejecución de la guía de respuesta por comando.
¿Qué ocurre con los incidentes que el agente no sabe gestionar?
Para estos casos, el agente escala al ingeniero de guardia y pasa al rol de asistente: recopila contexto, documenta las acciones del operador humano, busca incidentes similares en el historial y propone pasos por analogía. Las nuevas clases de fallos son material para ampliar la biblioteca de guías de respuesta; el agente mismo señala estas brechas al responsable en el informe posterior al incidente, y se convierten en los próximos candidatos a automatización.
¿Quieres esto en tu negocio?
Reserva una auditoría gratuita: te mostraremos cómo funcionará esta automatización para ti.