Saltar al contenido

¿Qué es una prueba inestable? Definición y causas

Última actualización

Una prueba inestable es una prueba que a veces pasa y a veces falla con exactamente el mismo código, sin ningún cambio en la prueba ni en la aplicación. Como el resultado no es determinista, un fallo no le dice nada fiable, y los equipos acaban ignorando las compilaciones en rojo.

Cómo funciona

La inestabilidad procede de algo que la prueba no controla. La prueba es correcta en algunas condiciones y errónea en otras, y el CI se encuentra ocasionalmente con las incorrectas. Causas habituales:

  • Tiempos y condiciones de carrera. Esperas fijas, código asíncrono sin await, elementos de la interfaz pulsados antes de renderizarse.
  • Estado compartido. Pruebas que dependen del orden, dejan datos residuales o comparten una base de datos con pruebas en paralelo. El sharding de pruebas suele hacerlo visible.
  • Servicios externos. Llamadas de red reales, límites de tasa, entornos de prueba de terceros.
  • Tiempo y aleatoriedad. Pruebas que dependen de la fecha actual, de las zonas horarias o de números aleatorios sin semilla.
  • Límites de recursos. Un runner con poca potencia provoca tiempos de espera agotados que nunca ocurren en un portátil.
  • Desviación del entorno. Versiones distintas de navegadores, configuraciones regionales o dependencias entre ejecuciones.

Detectar la inestabilidad

  1. Repetir y comparar. Si un fallo pasa al reintentarlo sin cambios en el código, la prueba es inestable.
  2. Ejecutar la prueba muchas veces. Un bucle de 50 a 100 ejecuciones suele reproducir el problema.
  3. Registre el historial. Anote el resultado (pass/fail) de cada test por commit. Un test que cambia de resultado en el mismo commit es el culpable.
  4. Aleatorizar el orden. Muchos runners pueden barajar las pruebas para descubrir dependencias de orden.

Ejemplo

Playwright puede reintentar en CI y conservar las trazas de los fallos para que pueda investigarlos:

- run: npx playwright test --retries=2 --trace=on-first-retry
- uses: actions/upload-artifact@v4
  if: failure()
  with:
    name: playwright-traces
    path: test-results/

Los reintentos hacen que la compilación aparezca en verde, pero ocultan el problema. Trate una prueba que necesitó un reintento como un error que hay que corregir. Guías más detalladas: pruebas inestables y pruebas end-to-end inestables.

Errores comunes

  • Reintentar indefinidamente. Los reintentos automáticos ocultan las inestabilidades e inflan los minutos de CI.
  • Añadir esperas más largas. Reduce la frecuencia, pero nunca elimina la condición de carrera. Espere a que se cumpla una condición en su lugar.
  • Eliminar la prueba. Pierde cobertura. Aíslela en un job separado que no bloquee, abra una incidencia y corríjala.
  • Ignorar el coste en una cola de fusión. Una sola prueba inestable expulsa una pull request y reinicia las que están detrás.
  • Culpar al CI. A veces la máquina es el desencadenante, pero la prueba sigue siendo el error.

Preguntas frecuentes

¿Con qué frecuencia aparecen pruebas inestables?

Las bases de código grandes casi siempre tienen algunos. Las tasas varían, así que mida su propio historial de pass/fail en lugar de confiar en una cifra del sector.

¿Debo reintentar las pruebas inestables en CI?

Use los reintentos como solución provisional con informes, de modo que cada prueba reintentada sea visible y se corrija.

¿Pueden los runners lentos causar inestabilidad?

Sí. Los tiempos de espera ajustados en una máquina de 2 núcleos pueden pasar en una más rápida, pero la solución real es esperar a que se cumplan condiciones en lugar de esperar un tiempo fijo.