Situación conocida: dos empresas lanzan un agente de IA sobre el mismo modelo. En una procesa solicitudes de forma estable durante meses; en la otra, hoy responde brillante y mañana suelta disparates. El dueño concluye: «la IA todavía está verde». En realidad la diferencia no está en el modelo, sino en tres capas a su alrededor: el sistema de límites, la formulación de las instrucciones y el acceso a documentación fresca. Veamos cada una — y al final, un checklist de preguntas para el proveedor.
El modelo es el motor; el harness, el auto
Princeton estudió 14 modelos y encontró un patrón incómodo: la precisión (accuracy) crece de generación en generación; la confiabilidad (reliability), no. El modelo se vuelve más inteligente, pero no más predecible. Son propiedades distintas, y una no arrastra a la otra automáticamente.
Por eso los equipos que construyen agentes en serio no invierten en «un mejor modelo», sino en el harness: el sistema de límites a su alrededor. Manus reescribió su harness cinco veces en seis meses: los mismos modelos, cinco arquitecturas de límites distintas — y cada iteración mejoró el resultado. Vercel le quitó a su agente el 80% de las herramientas — y el agente funcionó mejor: menos opciones, menos espacio para el error. Yo trabajo a diario con 17 agentes, y son estables no gracias al mejor modelo del mercado ni a «prompts mágicos», sino gracias a límites estrictos donde el paso en falso es imposible.
En la práctica, el harness es un skill: una instrucción clara de cinco elementos. Qué hacer (un párrafo, sin relleno). Cómo hacerlo (máximo tres pasos). Criterios de aceptación (si no se cumplen, el resultado no cuenta). Formato exacto de la respuesta. Y prohibiciones (qué no hacer nunca). Un skill, una tarea; si la tarea es demasiado amplia, se divide en dos.
Suena contraintuitivo, pero más límites significa un resultado más estable: acotar la tarea y fijar criterios claros sube la tasa de ejecuciones exitosas a cerca del 90%. Un modelo mediocre en un harness estricto es más confiable que el más inteligente en el caos. Y esto, por cierto, no aplica solo a la IA: piensa en tu mejor empleado sin un encargo claro — el resultado es distinto cada vez.
Por qué «eres un senior con experiencia» no funciona
La segunda capa son las instrucciones mismas. La receta popular de «dale un rol al modelo y se volverá más inteligente» no funciona. Anthropic describió este error de razonamiento y lo llamó el «Claude Mythos Problem».
El rol no le agrega conocimiento al modelo: activa un estereotipo de los datos de entrenamiento. Un «senior engineer con experiencia» en el dataset no es la experiencia de un ingeniero concreto, sino posts de LinkedIn sobre work-life balance, wikis corporativas cautelosas y respuestas promedio de foros. El agente sonará exactamente así: promediado, predecible, sin gracia.
Lo que sí funciona es el rol funcional:
❌ «Eres el mejor code reviewer con 20 años de experiencia»
✅ «Eres code reviewer. Recibes cambios de código. Devuelves máximo 5 observaciones con etiquetas: crítico / advertencia / detalle»
Lo primero es identidad: cero información nueva para el modelo. Lo segundo son objetivo, instrucciones y criterios de aceptación. El modelo no necesita saber «quién es». Necesita saber qué recibe como entrada, qué devuelve como salida y dónde está el umbral de calidad.
El agente que vive en el pasado
La tercera capa se ve mejor con un ejemplo de desarrollo. Claude escribió getServerSideProps — un enfoque que el proyecto abandonó hace tres años. El agente lee el código con atención, entiende la arquitectura, recuerda el contexto — y a la vez está atascado en 2023 cuando se trata de documentación.
Cada modelo tiene una cutoff date: la fecha después de la cual no sabe nada. Salió Next.js 14 — el modelo sigue en la 13. React 19 trajo herramientas nuevas — el modelo propone las viejas. Y no es que «a veces se equivoca»: es conducta sistemática; con cada librería popular hay que verificar si el método sigue vigente. Un técnico acostumbrado a confiar en las sugerencias del agente pierde una hora al día en esas verificaciones.
La solución es simple. Context7 de Upstash es un servidor MCP que se conecta a Claude Code (también a Cursor y Codex) y le da al agente documentación fresca de librerías en tiempo real, directo de la fuente y no de la memoria del modelo. La configuración toma cinco minutos: un comando, y después basta con agregar «use context7» a la consulta. Ejemplo real: documentación fresca de una librería en 30 segundos, el módulo reescrito con la nueva API — ni una función inventada, y el código funcionó a la primera.
Checklist: qué preguntarle al proveedor
Estas tres capas no se ven en la demo — en la presentación el agente siempre funciona. Pero es fácil verificarlas con preguntas:
Pregunta | La respuesta que quieres escuchar |
|---|---|
¿Cómo limitan al agente? | Cada uno tiene un skill: objetivo, pasos, criterios de aceptación, formato, prohibiciones |
¿Cuántas tareas ejecuta un agente? | Una. Las tareas amplias se reparten entre varios agentes |
¿Qué pasa con un resultado incorrecto? | Si no pasa los criterios de aceptación, no cuenta |
¿Escriben en los prompts «eres el mejor experto»? | No, los roles son funcionales: entrada, salida, umbral de calidad |
¿De dónde saca el agente la documentación? | Documentación viva en tiempo real (MCP), no solo la memoria del modelo |
¿Resultados inestables? ¿Qué hacen? | Acotamos la tarea y reforzamos los límites, no cambiamos el modelo |
Si a la última pregunta responden «pasaremos a un modelo más potente», es una bandera roja: cambiar el motor donde faltan volante y frenos. La inestabilidad es señal de un harness débil, no de un modelo débil.
¿Quieres entender por qué tu agente funciona de forma inestable? La auditoría de IA de Grow2.ai lo analiza sobre un proceso concreto. La guía base: Agentes de IA para pymes. Si el agente va a vivir dentro de tus procesos y tu CRM, ese es el dominio de nuestra marca hermana Auspex; para la visión estratégica sobre IA — Andrew Maryasov.