Saltar al contenido

Cómo encontrar, corregir y contener pruebas inestables en CI

Última actualización

Una prueba inestable pasa y falla con el mismo código. Cada una de ellas enseña a los desarrolladores a pulsar «volver a ejecutar» e ignorar las compilaciones en rojo, y así acaban fusionándose fallos reales. Además, la inestabilidad tiene un coste económico, ya que cada repetición se factura. Esta guía explica cómo medirla, cómo contenerla para que deje de bloquear al equipo y cómo corregir las causas más habituales.

Con qué frecuencia ocurre

En 2016, el equipo de pruebas de Google informó de que casi el 16 por ciento de sus pruebas presentaba algún grado de inestabilidad y que alrededor del 1.5 por ciento de todas las ejecuciones de pruebas arrojaba un resultado inestable. La entrada de su blog de ingeniería "Flaky Tests at Google and How We Mitigate Them" detalla los datos. Sus cifras serán distintas a las suyas, pero la conclusión se mantiene: en un conjunto de pruebas grande, cierta inestabilidad es lo habitual, y lo que necesita es un proceso, no soluciones heroicas.

El coste es fácil de calcular. Si el 10 por ciento de las ejecuciones de PR falla por motivos de inestabilidad y cada una provoca un reintento de un trabajo de Linux de 15 minutos con 2 núcleos, son unos 1.5 minutos adicionales por PR de media, facturados a $0.006 por minuto, además de la espera del desarrollador. El dinero es poco; el verdadero coste es la pérdida de confianza y el cambio de contexto. Use la calculadora del coste de un CI lento para poner una cifra a esa espera.

Paso 1: medir la tasa de fallos

No se puede gestionar lo que no se mide. Defina un fallo inestable como: una prueba que falla y después pasa al repetirse sobre el mismo commit. Haga un seguimiento de:

  • Tasa de fallos por prueba (fallos inestables dividido entre el número de ejecuciones).
  • Porcentaje de ejecuciones de workflow que necesitaron una repetición.
  • Tiempo perdido en repeticiones.

Obtenga los datos a partir de los informes de pruebas. Suba el XML de JUnit de cada ejecución y guarde los resultados en una tabla sencilla indexada por nombre de prueba y SHA del commit. Si todavía no dispone de herramientas, un script semanal sobre gh run list que localice las ejecuciones con run_attempt > 1 que acabaron teniendo éxito le dará una primera estimación:

gh run list --workflow ci.yml --limit 200 --json databaseId,attempt,conclusion \
  --jq '[.[] | select(.attempt > 1 and .conclusion == "success")] | length'

Paso 2: detectar la inestabilidad de forma intencionada

En lugar de esperar a fallos aleatorios, repita las pruebas sospechosas muchas veces en un trabajo programado:

on:
  schedule:
    - cron: "0 3 * * *"
jobs:
  flake-hunt:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: go test ./... -count=20 -shuffle=on

Equivalencias: pytest --count=20 con pytest-repeat, pytest -p randomly para mezclar el orden de las pruebas, jest --runInBand junto con ejecuciones repetidas, y --repeat-each=10 de Playwright. Mezclar el orden de las pruebas y ejecutarlas en paralelo son las dos formas más rápidas de revelar dependencias ocultas.

En un pull request que añada o modifique pruebas, ejecute solo esas pruebas de forma repetida, entre 20 y 50 veces, antes de la fusión.

Paso 3: contener con cuarentena, no con reintentos generalizados

Los reintentos resultan tentadores y peligrosos. Un «reintentar todo el trabajo 3 veces» general oculta errores intermitentes reales, como condiciones de carrera en el código de producción, y ralentiza todo. Aplique estas medidas en este orden:

  1. Ponga en cuarentena las pruebas conocidas como inestables. Márquelas (@flaky, pytest.mark.flaky, t.Skip tras una variable de entorno) y ejecútelas en un trabajo separado que no bloquee. Siguen generando datos, pero no bloquean las fusiones.
  2. Reintentos limitados en pruebas concretas, con registro. Ejemplos: pytest --reruns 2 --only-rerun ConnectionError, retries: 2 en la configuración de Playwright (marca como «flaky» en el informe las pruebas que pasaron tras un reintento) y jest.retryTimes(2) de Jest.
  3. Abra un ticket con un responsable y una fecha límite para cada prueba en cuarentena. Una cuarentena sin responsable equivale a un borrado con pasos extra. Use CODEOWNERS para dirigir los tickets al equipo responsable.

Haga fallar la compilación si la lista de cuarentena supera un umbral. Revísela cada semana.

Paso 4: corregir las causas habituales

La mayoría de las inestabilidades encajan en una lista corta.

CausaSíntomaSolución
MomentoFallan cerca de medianoche, en el cambio de horario o a final de mesInyecte el reloj; congele el tiempo en las pruebas
Esperas asíncronassleep(1) o aserciones de tiempoEspere a una condición o evento, con un tiempo límite
Estado compartidoPasan aisladas, fallan en el conjuntoAísle los datos por prueba; restablezca bases de datos y variables globales
Orden de las pruebasFallan al mezclar el ordenElimine las dependencias entre pruebas
Puertos y archivos«address already in use»Use puertos efímeros y directorios temporales
Servicios externosErrores de redUse simulaciones o respuestas grabadas; mantenga las pruebas con servicios reales en un job separado
Límites de recursosPasa en local, falla en el CI de 2 núcleosReduzca el paralelismo o use un runner más grande
AleatoriedadDependiente de la semillaRegistre la semilla y fíjela al producirse un fallo para poder reproducirlo
Temporización de la interfazEl elemento aún no está visibleUse la espera automática del framework y las aserciones orientadas a la web

Registre la semilla y el orden de las pruebas en cada ejecución, para poder reproducir un fallo. Conserve los artefactos, como capturas de pantalla, trazas y registros del servidor, de las pruebas fallidas (if: failure()).

Paso 5: Reproduzca el problema

Para reproducir una prueba inestable en condiciones de CI, ejecútela en bucle en el mismo tipo de runner, dentro del mismo contenedor:

for i in $(seq 1 100); do pytest tests/test_checkout.py -x -q || break; done

Si solo falla bajo carga, ejecútela junto con un estrés de CPU o limite el contenedor: docker run --cpus=1 --memory=2g. Muchas inestabilidades que solo aparecen en CI se deben a la máquina más pequeña, y un runner más grande las elimina sin resolver la causa. Puede ser una medida válida a corto plazo, pero documente la solución real.

Evite nuevas inestabilidades

  • Ejecute las pruebas nuevas 20 veces en el pull request que las añade.
  • Ejecute la suite completa en orden aleatorio en un job nocturno.
  • Revise el código de las pruebas en busca de esperas fijas (sleep), estado compartido y llamadas de red reales.
  • Trate una prueba inestable como un error con la misma prioridad que una prueba fallida, porque para un desarrollador lo es.

Si divide las pruebas en shards, consulte cómo hacerlo sin ocultar dependencias de orden en sharding de pruebas y pruebas en paralelo.

Preguntas frecuentes

¿Debo reintentar automáticamente las pruebas fallidas en CI?

Solo para causas conocidas y concretas, y registre cada reintento para que las pruebas que pasan tras reintentar aparezcan en un informe. Los reintentos generalizados ocultan problemas reales.

¿Es peor una prueba inestable que no tener prueba?

A menudo sí, si la gente la ignora. Una prueba en cuarentena que se hace seguimiento es preferible a una prueba bloqueante que todos reejecutan.

¿Cómo gestiono las pruebas end-to-end inestables?

Manténgalas en número reducido, pruebe a través de la API siempre que sea posible, use localizadores con espera automática, aísle los datos de prueba y conserve las trazas de los fallos. Ejecútelas después de que pasen las comprobaciones más económicas.

¿Afectan las pruebas inestables a las métricas DORA?

Sí: las reejecuciones alargan el lead time y una tasa alta de reejecuciones oculta su verdadera tasa de fallos en los cambios. Consulte métricas DORA.

Mida el efecto

Después de una limpieza, compare las tasas de reejecución y el tiempo mediano de los PR antes y después. Si además quiere saber si un fallo es una inestabilidad por falta de CPU, el modo de comparación de compiler.dev ejecuta el mismo job en una máquina más grande, de modo que puede ver si el fallo desaparece al aumentar los recursos.

Ejecute este workflow en compiler.dev Sin tarjeta · 200 minutos gratuitos

Pruébelo gratis