Cómo encontrar, corregir y contener pruebas inestables en CI
Última actualización
Una prueba inestable pasa y falla con el mismo código. Cada una de ellas enseña a los desarrolladores a pulsar «volver a ejecutar» e ignorar las compilaciones en rojo, y así acaban fusionándose fallos reales. Además, la inestabilidad tiene un coste económico, ya que cada repetición se factura. Esta guía explica cómo medirla, cómo contenerla para que deje de bloquear al equipo y cómo corregir las causas más habituales.
Con qué frecuencia ocurre
En 2016, el equipo de pruebas de Google informó de que casi el 16 por ciento de sus pruebas presentaba algún grado de inestabilidad y que alrededor del 1.5 por ciento de todas las ejecuciones de pruebas arrojaba un resultado inestable. La entrada de su blog de ingeniería "Flaky Tests at Google and How We Mitigate Them" detalla los datos. Sus cifras serán distintas a las suyas, pero la conclusión se mantiene: en un conjunto de pruebas grande, cierta inestabilidad es lo habitual, y lo que necesita es un proceso, no soluciones heroicas.
El coste es fácil de calcular. Si el 10 por ciento de las ejecuciones de PR falla por motivos de inestabilidad y cada una provoca un reintento de un trabajo de Linux de 15 minutos con 2 núcleos, son unos 1.5 minutos adicionales por PR de media, facturados a $0.006 por minuto, además de la espera del desarrollador. El dinero es poco; el verdadero coste es la pérdida de confianza y el cambio de contexto. Use la calculadora del coste de un CI lento para poner una cifra a esa espera.
Paso 1: medir la tasa de fallos
No se puede gestionar lo que no se mide. Defina un fallo inestable como: una prueba que falla y después pasa al repetirse sobre el mismo commit. Haga un seguimiento de:
- Tasa de fallos por prueba (fallos inestables dividido entre el número de ejecuciones).
- Porcentaje de ejecuciones de workflow que necesitaron una repetición.
- Tiempo perdido en repeticiones.
Obtenga los datos a partir de los informes de pruebas. Suba el XML de JUnit de cada ejecución y guarde los resultados en una tabla sencilla indexada por nombre de prueba y SHA del commit. Si todavía no dispone de herramientas, un script semanal sobre gh run list que localice las ejecuciones con run_attempt > 1 que acabaron teniendo éxito le dará una primera estimación:
gh run list --workflow ci.yml --limit 200 --json databaseId,attempt,conclusion \
--jq '[.[] | select(.attempt > 1 and .conclusion == "success")] | length'
Paso 2: detectar la inestabilidad de forma intencionada
En lugar de esperar a fallos aleatorios, repita las pruebas sospechosas muchas veces en un trabajo programado:
on:
schedule:
- cron: "0 3 * * *"
jobs:
flake-hunt:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- run: go test ./... -count=20 -shuffle=on
Equivalencias: pytest --count=20 con pytest-repeat, pytest -p randomly para mezclar el orden de las pruebas, jest --runInBand junto con ejecuciones repetidas, y --repeat-each=10 de Playwright. Mezclar el orden de las pruebas y ejecutarlas en paralelo son las dos formas más rápidas de revelar dependencias ocultas.
En un pull request que añada o modifique pruebas, ejecute solo esas pruebas de forma repetida, entre 20 y 50 veces, antes de la fusión.
Paso 3: contener con cuarentena, no con reintentos generalizados
Los reintentos resultan tentadores y peligrosos. Un «reintentar todo el trabajo 3 veces» general oculta errores intermitentes reales, como condiciones de carrera en el código de producción, y ralentiza todo. Aplique estas medidas en este orden:
- Ponga en cuarentena las pruebas conocidas como inestables. Márquelas (
@flaky,pytest.mark.flaky,t.Skiptras una variable de entorno) y ejecútelas en un trabajo separado que no bloquee. Siguen generando datos, pero no bloquean las fusiones. - Reintentos limitados en pruebas concretas, con registro. Ejemplos:
pytest --reruns 2 --only-rerun ConnectionError,retries: 2en la configuración de Playwright (marca como «flaky» en el informe las pruebas que pasaron tras un reintento) yjest.retryTimes(2)de Jest. - Abra un ticket con un responsable y una fecha límite para cada prueba en cuarentena. Una cuarentena sin responsable equivale a un borrado con pasos extra. Use CODEOWNERS para dirigir los tickets al equipo responsable.
Haga fallar la compilación si la lista de cuarentena supera un umbral. Revísela cada semana.
Paso 4: corregir las causas habituales
La mayoría de las inestabilidades encajan en una lista corta.
| Causa | Síntoma | Solución |
|---|---|---|
| Momento | Fallan cerca de medianoche, en el cambio de horario o a final de mes | Inyecte el reloj; congele el tiempo en las pruebas |
| Esperas asíncronas | sleep(1) o aserciones de tiempo | Espere a una condición o evento, con un tiempo límite |
| Estado compartido | Pasan aisladas, fallan en el conjunto | Aísle los datos por prueba; restablezca bases de datos y variables globales |
| Orden de las pruebas | Fallan al mezclar el orden | Elimine las dependencias entre pruebas |
| Puertos y archivos | «address already in use» | Use puertos efímeros y directorios temporales |
| Servicios externos | Errores de red | Use simulaciones o respuestas grabadas; mantenga las pruebas con servicios reales en un job separado |
| Límites de recursos | Pasa en local, falla en el CI de 2 núcleos | Reduzca el paralelismo o use un runner más grande |
| Aleatoriedad | Dependiente de la semilla | Registre la semilla y fíjela al producirse un fallo para poder reproducirlo |
| Temporización de la interfaz | El elemento aún no está visible | Use la espera automática del framework y las aserciones orientadas a la web |
Registre la semilla y el orden de las pruebas en cada ejecución, para poder reproducir un fallo. Conserve los artefactos, como capturas de pantalla, trazas y registros del servidor, de las pruebas fallidas (if: failure()).
Paso 5: Reproduzca el problema
Para reproducir una prueba inestable en condiciones de CI, ejecútela en bucle en el mismo tipo de runner, dentro del mismo contenedor:
for i in $(seq 1 100); do pytest tests/test_checkout.py -x -q || break; done
Si solo falla bajo carga, ejecútela junto con un estrés de CPU o limite el contenedor: docker run --cpus=1 --memory=2g. Muchas inestabilidades que solo aparecen en CI se deben a la máquina más pequeña, y un runner más grande las elimina sin resolver la causa. Puede ser una medida válida a corto plazo, pero documente la solución real.
Evite nuevas inestabilidades
- Ejecute las pruebas nuevas 20 veces en el pull request que las añade.
- Ejecute la suite completa en orden aleatorio en un job nocturno.
- Revise el código de las pruebas en busca de esperas fijas (sleep), estado compartido y llamadas de red reales.
- Trate una prueba inestable como un error con la misma prioridad que una prueba fallida, porque para un desarrollador lo es.
Si divide las pruebas en shards, consulte cómo hacerlo sin ocultar dependencias de orden en sharding de pruebas y pruebas en paralelo.
Preguntas frecuentes
¿Debo reintentar automáticamente las pruebas fallidas en CI?
Solo para causas conocidas y concretas, y registre cada reintento para que las pruebas que pasan tras reintentar aparezcan en un informe. Los reintentos generalizados ocultan problemas reales.
¿Es peor una prueba inestable que no tener prueba?
A menudo sí, si la gente la ignora. Una prueba en cuarentena que se hace seguimiento es preferible a una prueba bloqueante que todos reejecutan.
¿Cómo gestiono las pruebas end-to-end inestables?
Manténgalas en número reducido, pruebe a través de la API siempre que sea posible, use localizadores con espera automática, aísle los datos de prueba y conserve las trazas de los fallos. Ejecútelas después de que pasen las comprobaciones más económicas.
¿Afectan las pruebas inestables a las métricas DORA?
Sí: las reejecuciones alargan el lead time y una tasa alta de reejecuciones oculta su verdadera tasa de fallos en los cambios. Consulte métricas DORA.
Mida el efecto
Después de una limpieza, compare las tasas de reejecución y el tiempo mediano de los PR antes y después. Si además quiere saber si un fallo es una inestabilidad por falta de CPU, el modo de comparación de compiler.dev ejecuta el mismo job en una máquina más grande, de modo que puede ver si el fallo desaparece al aumentar los recursos.
Relacionado
- ¿Sus pruebas de Cypress son lentas? Cómo acelerar Cypress¿Pruebas de Cypress lentas en CI? Cómo acelerar Cypress con cy.session, intercepts y sin esperas fijas, además de pruebas paralelas en GitHub Actions.
- Pruebas E2E inestables: causas y soluciones duraderasPruebas e2e inestables: corrija esperas incorrectas, aísle las pruebas y el estado compartido de la base de datos, y use reintentos sin ocultar errores.
- ¿Playwright lento en CI? Solucione con workers y sharding¿Pruebas de Playwright lentas en CI? Acelérelas con más workers, storageState reutilizado, navegadores en caché y sharding con --shard. Incluye Python.
- Pytest lentos: encontrar, marcar, omitir y acelerar (xdist)Pytest lento: encuentre tests lentos con --durations, márquelos y omítalos por defecto, y acelere con pytest-xdist y repartiendo la suite entre jobs de CI.