Instabile E2E-Tests: Ursachen und dauerhafte Lösungen
Zuletzt aktualisiert
Flaky E2E-Tests bestehen und scheitern am selben Code. Flaky Ende-zu-Ende-Tests sind schlimmer als flaky Unit-Tests, weil sie minutenlang laufen und alles berühren: Browser, Netzwerk, Server, Datenbank und Testdaten. Dieser Leitfaden behandelt browser- und systemnahe Suiten. Er beschreibt die vier Ursachen, die die meisten Fehlschläge erklären (Wartezeiten, Isolation, Datenbankzustand und Umgebung), und zeigt danach, wie Wiederholungen und Quarantäne eingesetzt werden, ohne echte Fehler zu verdecken. Die allgemeine Methode zur Messung und Nachverfolgung von Flakes finden Sie im Leitfaden zu flaky Tests; zur Geschwindigkeit siehe langsame E2E-Tests.
Warum flaky E2E-Tests auch die CI verlangsamen
Ein Test, der in 5 Prozent der Fälle fehlschlägt, erzwingt einen erneuten Lauf. Dauert die Suite 20 Minuten und gibt es 30 solcher Tests, braucht ein großer Teil der Pull Requests mindestens einen Wiederholungslauf. Die effektive CI-Zeit liegt dann nahe bei 30 Minuten, plus die Wartezeit, bis jemand den Fehler bemerkt. Flakiness ist also ein Geschwindigkeits- und ein Vertrauensproblem. Siehe den Hub zu langsamer CI.
Ursache 1: Timing und Wartezeiten
Die häufigste Ursache. Der Test agiert, bevor die App bereit ist, oder wartet eine feste Zeit, die manchmal zu kurz ist.
- Ersetzen Sie
sleepund feste Timeouts durch auto-wartende Assertions: Warten Sie, bis ein Element sichtbar und aktiviert ist, sich eine URL ändert oder eine bestimmte Netzwerkantwort eintrifft. - Prüfen Sie keine Animationen oder Übergänge während ihres Ablaufs. Deaktivieren Sie Animationen im Testmodus.
- Warten Sie auf das, wovon Ihre nächste Aktion abhängt (die Anfrage, die eine Tabelle füllt), statt darauf, dass ein Ladeindikator verschwindet.
- Vermeiden Sie Auswahl nach Position oder nach Text, der sich ändert. Verwenden Sie stabile Test-IDs oder Rollen.
// flaky: fixed wait
await page.waitForTimeout(2000);
await page.click("#save");
// stable: wait for the condition
const save = page.getByRole("button", { name: "Save" });
await expect(save).toBeEnabled();
await save.click();
await expect(page.getByText("Saved")).toBeVisible();
Unterversorgte Runner machen Timing-Fehler sichtbar: Ein Runner mit 2 vCPU, auf dem mehrere Browser laufen, kann Seitenladezeiten über ein Timeout hinaus verlängern. Wenn sich Fehler in der CI häufen und lokal bei weniger Workern verschwinden, prüfen Sie zuerst die CPU, bevor Sie den Test verantwortlich machen.
Ursache 2: Testisolation
Tests, die von der Reihenfolge oder von Überresten eines vorherigen Tests abhängen, bestehen oder scheitern je nach Ablaufplanung, besonders wenn sie parallel oder in Shards laufen.
- Jeder Test erzeugt die Daten, die er braucht, mit eindeutigen Namen (ein Zufallssuffix oder eine Test-ID), und geht nicht von einem leeren System aus.
- Jeder Test meldet sich als eigener Benutzer an oder als ein Benutzer, der ihm exklusiv gehört, wenn er Kontozustände ändert.
- Setzen Sie den Browserzustand zwischen den Tests zurück: frischer Kontext, gelöschter Speicher, keine gemeinsamen Tabs.
- Führen Sie die Suite mindestens einmal täglich in zufälliger Reihenfolge und parallel aus. Versteckte Abhängigkeiten zeigen sich so schnell.
- Lassen Sie nie zu, dass die Bereinigung eines Tests für den Erfolg des nächsten Tests nötig ist.
Ursache 3: Datenbank und gemeinsamer Zustand
Gemeinsam genutzte Datenbanken sind nach den Wartezeiten die zweitgrößte Fehlerquelle.
- Parallele Worker auf einer Datenbank kollidieren bei eindeutigen Constraints und Zählwerten. Geben Sie jedem Worker ein eigenes Schema oder eine eigene Datenbank oder einen eigenen Mandanten.
- Übriggebliebene Zeilen aus fehlgeschlagenen Tests lassen spätere Läufe scheitern. Seeden Sie in einer Transaktion und machen Sie sie rückgängig, oder setzen Sie die Datenbank in der CI pro Lauf zurück.
- Assertions auf globale Zählwerte ("es gibt 3 Bestellungen") brechen, sobald irgendetwas anderes eine Bestellung anlegt. Prüfen Sie die Datensätze, die der Test selbst erstellt hat.
- Zeitabhängige Daten wie "heute erstellt" brechen um Mitternacht UTC. Frieren Sie die Uhr in der getesteten App ein oder injizieren Sie sie.
- Externe Dienste (E-Mail, Zahlungs-Sandboxes, Drittanbieter-APIs) haben Ratenlimits und Ausfälle. Ersetzen Sie sie für die meisten Tests an der Netzwerkgrenze durch Stubs und behalten Sie einige echte Vertragsprüfungen außerhalb des PR-Pfads.
Legen Sie Daten über die API oder die Datenbank an, nicht über die Oberfläche. Das ist schneller und entfernt UI-Flakiness aus den Vorbereitungsschritten.
Ursache 4: Umgebung und Infrastruktur
- Wettlauf zwischen dem Start des App-Servers und des Test-Runners: Warten Sie vor dem Lauf auf eine Health-URL.
- Abweichende Browser-, Treiber- oder Betriebssystemversionen: Fixieren Sie die Versionen oder verwenden Sie ein Container-Image.
- Speicherdruck auf kleinen Runnern: Achten Sie auf Browserabstürze und Abbrüche wegen Speichermangels.
- Netzwerk-Flakiness bei Downloads: Cachen Sie Abhängigkeiten, spiegeln Sie Registries (Caching-Leitfaden).
Wiederholungen: sorgfältig einsetzen
Wiederholungen sind ein Sicherheitsnetz, keine Lösung. Diese Regeln haben sich bewährt:
- Erlauben Sie 1 bis 2 Wiederholungen nur in der CI und lokal keine, damit Entwickler echte Fehler sehen.
- Melden Sie einen Erfolg nach Wiederholung als Flake, nicht als Erfolg. Playwright markiert solche Tests in den Berichten als flaky; Cypress und andere bieten Entsprechungen oder Plugins.
- Verfolgen Sie die Flake-Anzahl pro Test. Ein Test, der diese Woche 3 Mal wiederholt werden musste, braucht einen Verantwortlichen.
- Sichern Sie beim ersten Wiederholungslauf Belege: Trace, Video, Screenshot, Konsole und Serverprotokolle.
// playwright.config.ts
retries: process.env.CI ? 1 : 0,
use: { trace: "on-first-retry", screenshot: "only-on-failure" },
Quarantäne ohne Verlust der Testabdeckung
Wenn ein Test instabil ist und sich heute nicht beheben lässt:
- Verschieben Sie ihn in eine Quarantänegruppe, die weiterhin läuft, aber keine Merges blockiert (ein Tag, ein separater Job mit
continue-on-erroroder ein separates Projekt). - Eröffnen Sie ein Issue mit einem Verantwortlichen und einer Frist und verlinken Sie es im Testcode.
- Prüfen Sie die Quarantäneliste wöchentlich. Beheben, löschen oder hochstufen Sie jeden Test. Eine Quarantäne, die nur wächst, ist eine gelöschte Testsuite.
Markieren Sie Tests nicht einfach als übersprungen: Übersprungene Tests verschwinden aus dem Blickfeld.
Neue Instabilitäten verhindern
- Lassen Sie neue Tests vor dem Merge 20- bis 50-mal in der CI laufen, um offensichtliche Instabilität aufzudecken.
- Prüfen Sie mit einem Linter auf
sleepund feste Wartezeiten. - Halten Sie E2E-Tests wenige und auf kritische Nutzerreisen fokussiert (Unit-Tests vs. E2E-Tests); weniger Tests bedeuten weniger Chancen auf Instabilität.
- Geben Sie Runs genug CPU. Wenn ein Runner der Engpass ist, vergleicht schnellere GitHub Actions Runner die Optionen. compiler.dev war über 18 gemessene Stacks hinweg im Median 1,5× schneller als der 2-Core-Runner von GitHub (15 schneller, 2 gleich, 1 langsamer), und der Vergleichsmodus misst Ihre eigenen Jobs. Mehr CPU beseitigt Timing-Flakes, behebt aber keine Race Conditions.
Framework-Details: Playwright-Tests langsam und Cypress-Tests langsam.
FAQ
Was verursacht instabile E2E-Tests?
Meist schlechte Wartezeiten, geteilte oder übriggebliebene Daten, Reihenfolgeabhängigkeiten zwischen Tests und ressourcenknappe CI-Maschinen.
Sollte ich instabile End-to-End-Tests wiederholen?
In der CI ein- oder zweimal wiederholen, aber jede Wiederholung als Instabilität erfassen und den Test beheben. Wiederholte Erfolge nie als saubere Durchläufe werten.
Wie finde ich instabile E2E-Tests?
Führen Sie die Suite auf unverändertem Code erneut aus oder analysieren Sie die CI-Historie auf Tests, die beim selben Commit sowohl bestanden als auch fehlgeschlagen sind. Melden Sie wiederholte Erfolge in Ihren Testberichten.
Ist es besser, einen instabilen Test zu löschen?
Manchmal. Wenn er einen Pfad von geringem Wert abdeckt oder dasselbe Verhalten weiter unten in der Testpyramide geprüft wird, ist das Löschen besser, als das Rauschen weiterzutragen.
Verwandt
- Cypress-Tests zu langsam? So beschleunigen Sie CypressCypress-Tests in CI langsam? Beschleunigen mit cy.session, Intercepts und ohne feste Wartezeiten sowie parallele Cypress-Tests in GitHub Actions.
- Playwright-Tests langsam in CI? Mit Workern beschleunigenPlaywright-Tests in CI langsam? Beschleunigen mit mehr Workern, wiederverwendetem storageState, gecachten Browsern und --shard. Auch Python.
- Pytest: langsame Tests finden, markieren und beschleunigenLangsame Pytest-Tests finden (--durations), standardmäßig markieren und überspringen, dann mit pytest-xdist und Aufteilung auf CI-Jobs beschleunigen.
- Langsame E2E-Tests: Ursachen und LösungenLangsame E2E- und Integrationstests entstehen meist durch Setup, feste Wartezeiten und serielle Ausführung. Ursache finden und Tests in CI beschleunigen.