Saltar al contenido

Pruebas E2E inestables: causas y soluciones duraderas

Última actualización

Las pruebas e2e inestables pasan y fallan con el mismo código, y son más problemáticas que las pruebas unitarias inestables porque tardan minutos en ejecutarse y afectan a todo: navegador, red, servidor, base de datos y datos de prueba. Esta guía se centra en suites de navegador y de nivel de sistema. Explica las cuatro causas que explican la mayoría de los fallos (esperas, aislamiento, estado de la base de datos y entorno) y luego cómo usar reintentos y cuarentena sin ocultar errores reales. Para el método general de medición y seguimiento de fallos intermitentes, lea la guía sobre pruebas inestables; para la velocidad, consulte pruebas e2e lentas.

Por qué las pruebas e2e inestables también ralentizan la CI

Una prueba que falla el 5 por ciento de las veces obliga a volver a ejecutarla. Si la suite tarda 20 minutos y hay 30 pruebas así, una gran parte de los PR necesita al menos una nueva ejecución, de modo que el tiempo efectivo de CI se acerca a 30 minutos más la espera hasta que alguien lo note. La inestabilidad es un problema de velocidad además de un problema de confianza. Consulte el centro de CI lenta.

Causa 1: tiempos y esperas

La causa principal. La prueba actúa antes de que la aplicación esté lista, o espera un tiempo fijo que a veces es demasiado corto.

  • Sustituya sleep y los tiempos de espera fijos por aserciones con espera automática: espere a que un elemento sea visible y esté habilitado, a que cambie una URL o a una respuesta de red concreta.
  • No haga aserciones sobre animaciones o transiciones en curso. Desactive las animaciones en el modo de prueba.
  • Espere a lo que depende su siguiente acción (la petición que rellena una tabla) en lugar de esperar a que desaparezca un indicador de carga.
  • Evite seleccionar por posición o por texto que cambia. Use identificadores de prueba o roles estables.
// flaky: fixed wait
await page.waitForTimeout(2000);
await page.click("#save");

// stable: wait for the condition
const save = page.getByRole("button", { name: "Save" });
await expect(save).toBeEnabled();
await save.click();
await expect(page.getByText("Saved")).toBeVisible();

Los runners con CPU escasa hacen aparecer errores de tiempo: un runner de 2 vCPU que ejecuta varios navegadores puede ralentizar la carga de páginas más allá de un tiempo de espera. Si los fallos se agrupan en CI y desaparecen en local con menos workers, revise la CPU antes de culpar a la prueba.

Causa 2: aislamiento de las pruebas

Las pruebas que dependen del orden o de restos de una prueba anterior pasan o fallan según la planificación, sobre todo cuando se ejecutan en paralelo o en shards.

  • Cada prueba crea los datos que necesita, con nombres únicos (un sufijo aleatorio o un identificador de prueba), y no asume un sistema vacío.
  • Cada prueba inicia sesión con su propio usuario, o con un usuario que le pertenece en exclusiva, cuando modifica el estado de una cuenta.
  • Restablezca el estado del navegador entre pruebas: contexto nuevo, almacenamiento borrado, sin pestañas compartidas.
  • Ejecute la suite en orden aleatorio y en paralelo al menos una vez al día. Las dependencias ocultas aparecen rápidamente.
  • Nunca permita que la limpieza de una prueba sea necesaria para que la siguiente tenga éxito.

Causa 3: base de datos y estado compartido

Las bases de datos compartidas son la segunda fuente más importante, después de las esperas.

  • Los workers paralelos sobre una misma base de datos chocan en restricciones de unicidad y en recuentos. Dé a cada worker su propio esquema o base de datos, o su propio tenant.
  • Las filas que quedan de pruebas fallidas hacen que las ejecuciones posteriores fallen. Cargue los datos en una transacción y haga rollback, o restablezca la base de datos en cada ejecución en CI.
  • Las aserciones sobre recuentos globales ("hay 3 pedidos") se rompen cuando cualquier otra cosa crea un pedido. Asserte sobre los registros que creó la prueba.
  • Los datos dependientes del tiempo, como "creado hoy", se rompen a medianoche UTC. Congele o inyecte el reloj en la aplicación bajo prueba.
  • Los servicios externos (correo electrónico, entornos de pago de prueba, APIs de terceros) tienen límites de uso y caídas. Simúlelos en el límite de red para la mayoría de las pruebas y mantenga unas pocas comprobaciones de contrato reales fuera de la ruta de los PR.

Cree los datos mediante la API o la base de datos, no a través de la interfaz. Es más rápido y elimina la inestabilidad de la interfaz en los pasos de preparación.

Causa 4: entorno e infraestructura

  • Carrera entre el arranque del servidor de la aplicación y el del runner de pruebas: espere a una URL de estado antes de ejecutar.
  • Desfase de versiones del navegador, del driver o del sistema operativo: fije las versiones o use una imagen de contenedor.
  • Presión de memoria en runners pequeños: busque caídas del navegador y terminaciones por falta de memoria.
  • Inestabilidad de la red en las descargas: almacene en caché las dependencias y use réplicas de registros (guía de caché).

Reintentos: úselos con cuidado

Los reintentos son una red de seguridad, no una solución. Reglas que funcionan:

  1. Permita de 1 a 2 reintentos solo en CI, y ninguno en local, para que los desarrolladores vean los fallos reales.
  2. Registre un éxito tras reintento como inestable, no como éxito. Playwright marca estas pruebas como inestables en sus informes; Cypress y otras herramientas tienen equivalentes o plugins.
  3. Lleve un recuento de fallos por prueba. Una prueba que necesitó reintentos 3 veces esta semana necesita un responsable.
  4. Capture evidencias en el primer reintento: traza, vídeo, captura de pantalla, consola y registros del servidor.
// playwright.config.ts
retries: process.env.CI ? 1 : 0,
use: { trace: "on-first-retry", screenshot: "only-on-failure" },

Poner en cuarentena sin perder cobertura

Cuando una prueba es inestable y no se puede corregir hoy:

  1. Muévala a un grupo de cuarentena que sigue ejecutándose pero no bloquea las fusiones (una etiqueta, un job independiente con continue-on-error, o un proyecto separado).
  2. Abra un issue con un responsable y una fecha límite, y enlácelo en el código de la prueba.
  3. Revise la lista de cuarentena cada semana. Corrija, elimine o promueva cada prueba. Una cuarentena que solo crece equivale a un conjunto de pruebas eliminado.

No se limite a marcar las pruebas como omitidas: las pruebas omitidas dejan de verse.

Evite nuevas inestabilidades

  • Ejecute las pruebas nuevas entre 20 y 50 veces en CI antes de fusionar, para detectar inestabilidades evidentes.
  • Analice con un linter el uso de sleep y las esperas fijas.
  • Mantenga pocas pruebas e2e, centradas en los recorridos críticos (pruebas unitarias frente a pruebas e2e); menos pruebas significan menos oportunidades de inestabilidad.
  • Dé a las ejecuciones CPU suficiente. Si el runner es el cuello de botella, los runners más rápidos de GitHub Actions compara las opciones; compiler.dev fue una mediana de 1.5× más rápido en 18 stacks medidos (15 más rápidos, 2 iguales, 1 más lento) que el runner de 2 núcleos de GitHub, y su modo de comparación mide sus propios jobs. Más CPU elimina los fallos intermitentes por tiempos, pero no cura las condiciones de carrera.

Particularidades de cada framework: pruebas lentas en Playwright y pruebas lentas en Cypress.

Preguntas frecuentes

¿Qué causa las pruebas e2e inestables?

Sobre todo, esperas mal diseñadas, datos compartidos o residuales, dependencia del orden entre pruebas y máquinas de CI con recursos insuficientes.

¿Debo reintentar las pruebas e2e inestables?

Reintente una o dos veces en CI, pero registre cada reintento como una inestabilidad y corrija la prueba. Nunca considere limpios los resultados aprobados tras un reintento.

¿Cómo identifico qué pruebas e2e son inestables?

Vuelva a ejecutar la suite sobre código sin cambios, o analice el historial de CI en busca de pruebas que tanto aprobaron como fallaron en el mismo commit. Informe de los aprobados tras reintento en sus informes de pruebas.

¿Es mejor eliminar una prueba inestable?

A veces. Si cubre un camino de poco valor, o si el mismo comportamiento se prueba en un nivel inferior de la pirámide, eliminarla es preferible a mantener el ruido.

Ejecute estas pruebas e2e en compiler.dev Sin tarjeta · 200 minutos gratuitos

Pruébelo gratis