Probar un agente de IA dentro de un workflow consiste en repetir casos reales en cada paso donde decide o actúa, antes de que toque tu correo, tu CRM o tus facturas. Un agente de IA es un sistema que se apoya en un modelo de lenguaje para planificar acciones y llamar a herramientas, lo que hace que su comportamiento varíe de una ejecución a otra.
Cuando formo a pymes en Claude Code, el workflow que falla casi nunca es el que se escribió mal: es el que nunca se volvió a ejecutar con casos retorcidos. Te explico el método que aplico y después te doy mi veredicto sobre los agentes que prometen hacer este trabajo de prueba por ti.
- 🎯 Prueba probabilística, un mismo caso puede generar llamadas a herramientas distintas de una ejecución a otra.
- 🏗️ Workflow acotado, el agente solo decide en los pasos donde el criterio importa.
- 📊 Casos reales repetidos, una treintena de correos o expedientes auténticos que se vuelven a lanzar con cada cambio de prompt.
- ⚠️ Una persona en lo irreversible, envíos, pagos y borrados los valida una persona mientras no se demuestre lo contrario.
Por qué un agente de IA no se prueba como un software clásico
Un agente de IA no se prueba como un software clásico porque su comportamiento es probabilístico: un mismo prompt puede desencadenar secuencias de llamadas a herramientas distintas de una ejecución a otra. Según la guía de IBM sobre pruebas de agentes de IA, publicada el 25 de junio de 2026, un error que se produce al principio de un workflow de varios pasos puede no manifestarse hasta mucho más tarde. Una prueba superada una sola vez no demuestra casi nada.
La distancia entre la ambición y la preparación está medida. Según el IBM Institute for Business Value, citado en esa misma guía, el 80 % de los CIO y CTO encuestados afirma tener mandatos de transformación hacia la IA impulsados por su CEO, y solo el 11 % se considera plenamente preparado para el despliegue de agentes previsto para el año siguiente.
El riesgo no es teórico. Gartner pronosticó en junio de 2025 que más del 40 % de los proyectos de IA agéntica se abandonarían antes de finales de 2027 por costes crecientes, un valor de negocio difuso y controles de riesgo insuficientes. Leo el tercer motivo como una confesión: se conectan agentes al mundo real sin haberlos puesto a prueba.
¿En qué se diferencia un agente de IA de un simple script de automatización?
Un script de automatización da la misma salida para la misma entrada, mientras que un agente de IA elige sus acciones en función de lo que observa. Tricentis, editor de herramientas de testing, formula la distinción en su tutorial sobre cómo probar agentes: un chatbot responde, un agente avanza hacia un objetivo buscando en la web, consultando una base de datos o ejecutando código.
Esa capacidad de actuar complica las pruebas. Tricentis describe al agente que entiende mal su objetivo, encadena varias acciones erróneas sin avisar y luego presenta el resultado como si todo hubiera ido bien. El fallo está en el razonamiento, no en el código: la integración funciona, el agente se ejecuta y la respuesta es incorrecta.
El peor fallo de un agente es el que parece un éxito.
Piensa en un workflow de clasificación de correo: el agente lee un mensaje, lo clasifica, actualiza el CRM y prepara una respuesta. Si la clasificación del primer paso es errónea, el cuarto produce una respuesta educada, bien redactada y fuera de lugar. Ningún mensaje de error, ninguna alerta.
Workflow fijo o agente libre: ¿qué hay que probar primero?
Un workflow es una secuencia de pasos decidida de antemano, mientras que un agente de IA elige por sí mismo su siguiente acción según lo que observa. Esta diferencia marca la estrategia de pruebas: un camino conocido se verifica paso a paso, un camino improvisado se juzga sobre todo por sus resultados y sus límites.
Un usuario de r/Romain_Helias_IA lo explica con una metáfora de restaurante. La pizza de la carta sigue una receta con variantes previstas: es el workflow. El plato vegetariano improvisado con lo que queda en la despensa exige un cocinero que revise el stock y elija una alternativa: es el agente.
Añade un matiz que muchos directivos pasan por alto: un workflow puede incluir un paso de IA (resumir un formulario, clasificar una solicitud) sin convertirse en un agente. Y el camino conocido se puede probar, entender dónde falla y corregir el paso afectado. Es una opinión aislada, publicada sin ningún comentario, pero coincide con lo que veo en las pymes que acompaño.
Mi postura es clara: la mayoría de las necesidades de una pyme se resuelven con un workflow que incluye un paso de IA, no con un agente libre. Un agente que ejecuta bien una tarea concreta vale más que un agente generalista que impresiona en una demo. Probar un workflow acotado está al alcance de un directivo; probar un agente libre exige un dispositivo que pocas pymes mantendrán.
¿Cómo decidir qué pasos confiar a un agente de IA?
Basta con tres preguntas para clasificar los pasos:
- ¿Recibe el paso entradas demasiado variadas para reglas fijas (correos redactados libremente, documentos heterogéneos)?
- ¿El error es reversible? Un borrador se corrige, una transferencia no.
- ¿El resultado se verifica en unos segundos (una categoría, un importe, una fecha)?
Tres «sí» señalan un paso candidato para el agente. En los demás casos, una regla fija o una validación humana funcionará mejor y costará menos de probar.
Cómo montar pruebas para un agente de IA sin equipo de QA
Para probar un agente de IA en una pyme hacen falta tres elementos: un conjunto de casos reales que se repite con cada modificación, una traza de cada llamada a herramienta y una validación humana de las acciones irreversibles. Tricentis resume la base desde el lado profesional: conjuntos de datos de referencia, trazado del workflow, simulaciones y validación de las llamadas a herramientas, complementados con revisión humana, evaluaciones automatizadas, seguimiento de regresiones y pruebas de seguridad.
Una pyme no necesita todo eso el primer día. Necesita el dispositivo más pequeño que atrape los errores caros, y un hábito: ningún cambio de prompt, de modelo o de herramienta pasa a producción sin repetir los casos de referencia.
¿Qué casos reales hay que repetir?
Recomiendo una treintena de casos sacados de tus correos o expedientes reales, repartidos en tres familias. Los casos habituales, que representan el día a día. Los casos retorcidos: mensaje ambiguo, adjunto que falta, cliente enfadado. Los casos prohibidos, en los que la reacción correcta es negarse o escalar a una persona.
Añade mensajes trampa con instrucciones ocultas, porque un agente que lee tus correos también lee lo que tus adversarios deslizan en ellos. Mi artículo sobre Claude y la prompt injection explica por qué una tasa de fallo del 1 % sigue siendo demasiado alta en cuanto el agente puede actuar.
¿Cómo medir lo que hace el agente paso a paso?
Hace falta un registro que anote, en cada ejecución, la entrada, la herramienta llamada, sus parámetros y la decisión final. El mercado se está organizando en torno a esta necesidad: una publicación en r/startupsArgentina presenta Mibo-ai, un producto para visualizar trazas, detectar fallos y lanzar evaluaciones sobre agentes, con dos meses de acceso gratuito a cambio de feedback. Es una oferta comercial sin ninguna opinión de usuarios por ahora: demuestra que la demanda existe, no que la herramienta cumpla lo que promete.
Un ejemplo más revelador viene de r/aigamedev. Un creador en solitario cuenta que el 28 de octubre de 2026 publicó la demo en Steam de un shooter de 12 capítulos cuyo código escriben agentes de Claude Code: 3929 commits en 20 días laborables, con Godot 4.7. Cada fusión de código está condicionada a una batería de pruebas sin interfaz: cero errores de script, un bot que juega el nivel y controles de navegación y de geometría.
Lo que las pruebas no cubren es igual de instructivo. El mismo autor explica que los agentes no saben qué es divertido: el nivel de la demo pasó por cuatro versiones, y una prueba con jugadores reales llevó a añadir una sección entera. Las pruebas automáticas protegen la mecánica, la persona conserva el juicio de valor.
| Nivel de prueba | Qué se verifica | Herramienta mínima en una pyme | Cuándo repetirla |
|---|---|---|---|
| Casos de referencia | Respuesta correcta en una treintena de casos reales | Hoja de cálculo y revisión humana | Con cada cambio de prompt o de modelo |
| Llamadas a herramientas | Herramienta correcta, parámetros correctos, orden correcto | Registro de ejecución del workflow | En cada ejecución |
| Simulación | Comportamiento ante casos retorcidos y solicitudes que hay que rechazar | Copia de prueba del CRM o del correo | Antes del paso a producción |
| Revisión humana | Acciones irreversibles (envío, pago, borrado) | Validación antes del envío | Mientras la tasa de error no sea estable |
| Seguridad | Resistencia a instrucciones ocultas en un mensaje | Correos trampa añadidos al conjunto de casos | Cada trimestre |
FUENTE: Tricentis, IBM, síntesis del autor · ACT. 11/2026
¿Hace falta un agente de IA para probar tu propio software?
Un agente de IA de pruebas es un agente que interpreta instrucciones de prueba, actúa sobre la aplicación como un usuario y emite un veredicto acompañado de sus evidencias. En el blog La taverne du testeur, Bruno Legeard describe en enero de 2026 los agentes llamados «Computer-Use» o agentes GUI: abren un navegador, rellenan campos, leen la pantalla para seguir su plan y entregan un informe paso a paso con capturas de pantalla. Sus capacidades avanzaron muy rápido en 2025.
El mercado ya ofrece productos. all4test recopila en diciembre de 2025 cinco agentes para pruebas de software (Momentic, Spur, testRigor, Yest y qTest) y habla de hasta un 70 % menos de tiempo de diseño de pruebas, entre un 50 y un 80 % más de cobertura y entre un 25 y un 50 % menos de costes de QA. Esas cifras proceden de «experiencias del mercado», sin citar ningún estudio independiente: las clasifico como argumento comercial, no como benchmark.
¿Cómo comprobar un agente de pruebas antes de fiarse de él?
Hay que probar al probador. Mi método consiste en inyectar entre tres y cinco bugs conocidos en una versión de prueba de la aplicación y ver cuáles detecta el agente. Un agente de pruebas que no señala nada no demuestra que la aplicación esté sana: quizá demuestra que no ve nada.
La guía de testomat.io, actualizada en agosto de 2026, recomienda revisar los resultados, corregir los falsos positivos y mantener a una persona en el circuito para el contexto que se le escapa al modelo. Estoy de acuerdo, con un matiz: si tu equipo ya tiene una batería estable de Playwright o Selenium, consérvala para los controles deterministas. Un agente de pruebas rinde mejor en los recorridos que cambian a menudo; la batería clásica, en lo que no se mueve.
Veredicto: cuándo dejar que un agente de IA actúe solo en tu workflow
Sí, hay que probar el workflow de tu agente de IA antes de pasarlo a producción, y la regla se resume en tres condiciones: casos de referencia superados, acciones trazadas y una persona en todo lo irreversible. Mientras falte una de las tres, el agente sigue supervisado. Es la respuesta a la pregunta del principio: las herramientas de prueba basadas en agentes ayudan con la regresión repetitiva, pero no sustituyen ni tus casos reales ni tu revisión.
«El reto ahora es escalar sistemas de IA que funcionan de forma continua y autónoma, a menudo con modelos de gobernanza y arquitecturas pensados para un entorno mucho más lento y predecible.»
Matt Lyteson, CIO de IBM, junio de 2026
La frase de Matt Lyteson explica por qué la supervisión no es un freno. Tus procesos actuales se diseñaron para personas lentas y predecibles; un agente rápido y variable causa estragos en ellos si no está encuadrado. Mi artículo sobre quién supervisa cuando el agente actúa solo detalla los roles que hay que prever.
¿Qué criterios hay para pasar de la supervisión a la autonomía?
Levanto la supervisión paso a paso, nunca de golpe. Un agente se gana la autonomía en una acción cuando ha superado todos los casos de referencia tras la última modificación, cuando su registro no muestra ninguna llamada a herramienta inesperada durante varias semanas y cuando el error, si se produce, se repara en minutos. Los envíos al exterior y los pagos siguen validándose durante mucho más tiempo que las clasificaciones internas.
Esta progresión responde a mi convicción de fondo: los proyectos de IA útiles empiezan pequeños, con un caso de uso medible, y crecen a medida que se acumulan las pruebas. Conté cómo funciona en la práctica en mis informes de clientes automatizados con agentes de Claude, incluido lo que salió mal. Si quieres aprender a construir estos workflows por tu cuenta, la formación de Claude Code en francés para no desarrolladores parte de casos concretos y termina con una web corporativa publicada.
Preguntas frecuentes
¿Qué significa probar un agente de IA?
Probar un agente de IA consiste en verificar, antes de desplegarlo, que alcanza su objetivo de forma fiable, segura y conforme a las normas de la empresa. Como el agente planifica, llama a herramientas y puede variar de una ejecución a otra, la prueba se basa en series de casos y en la traza de las acciones, no en un único intento exitoso.
¿Cuántos casos de prueba hacen falta antes de pasar a producción?
Las fuentes consultadas no fijan ningún umbral oficial. Yo parto de una treintena de casos reales para un workflow de pyme, repartidos entre casos habituales, casos retorcidos y casos que hay que rechazar, y añado uno nuevo cada vez que detecto un error en producción. El conjunto de pruebas crece con los fallos reales.
¿Puede un agente de IA probar un software en lugar de una persona?
Un agente de IA de pruebas puede ejecutar recorridos, emitir un veredicto y aportar capturas de pantalla, lo que aligera la regresión repetitiva. No juzga si la experiencia es satisfactoria y puede pasar por alto anomalías, de ahí el interés de inyectarle bugs conocidos para medir lo que detecta. Sigue haciendo falta una persona para revisar los falsos positivos.
¿Qué diferencia hay entre un workflow y un agente de IA?
Un workflow sigue pasos previstos de antemano, aunque uno de ellos utilice un modelo de IA para resumir o clasificar. Un agente decide por sí mismo la siguiente acción a partir de lo que observa, dentro de los límites fijados. El workflow se prueba paso a paso; el agente se prueba sobre todo por sus resultados y sus rechazos.
¿Hace falta una herramienta especializada para trazar un agente de IA?
No para empezar. En un workflow acotado basta con un registro que anote la entrada, la herramienta llamada, sus parámetros y la decisión final, llevado en una hoja de cálculo o una base de datos sencilla. Las plataformas de trazado como las que describe Tricentis resultan útiles cuando el número de ejecuciones hace imposible la revisión manual.
Fuentes
- Tests d'agents d'IA , ibm.com
- How to test AI agents: a step-by-step tutorial , tricentis.com
- Les agents IA et leur usage pour l'exécution de tests, Partie 1 , latavernedutesteur.fr
- Top 5 des meilleurs Agents IA 2025 pour optimiser vos tests logiciel , all4test.fr
- AI Agent Testing: Level Up Your QA Process , testomat.io
- Gartner, previsiones sobre la IA agéntica , gartner.com
- Workflow ou agent IA : ta cuisine a-t-elle besoin d'une recette ou d'un cuisinier ? , r/Romain_Helias_IA
- A one-person studio shipped a Steam demo of a 12-chapter FPS coded by AI agents in 20 working days , r/aigamedev
- ¿Alguien tiene agentes de IA en producción y quiere probar una herramienta de testing? , r/startupsArgentina