Was ist ein flaky Test? Definition und Ursachen
Zuletzt aktualisiert am
Ein Flaky Test ist ein Test, der auf exakt demselben Code manchmal besteht und manchmal fehlschlägt, ohne dass sich der Test oder die Anwendung geändert hat. Da das Ergebnis nicht deterministisch ist, sagt ein Fehlschlag nichts Verlässliches aus, und Teams gewöhnen sich daran, rote Builds zu ignorieren.
So funktioniert es
Flakiness entsteht durch etwas, das der Test nicht kontrolliert. Der Test ist unter manchen Bedingungen korrekt und unter anderen falsch, und die CI trifft gelegentlich auf die falschen. Häufige Ursachen:
- Timing und Race Conditions. Feste Sleeps, nicht abgewartete asynchrone Abläufe, Klicks auf UI-Elemente, bevor sie gerendert sind.
- Geteilter Zustand. Tests, die von der Reihenfolge abhängen, Daten zurücklassen oder sich mit parallelen Tests eine Datenbank teilen. Test-Sharding macht dies häufig sichtbar.
- Externe Dienste. Echte Netzwerkaufrufe, Rate Limits, Sandboxes von Drittanbietern.
- Zeit und Zufall. Tests, die vom aktuellen Datum, von Zeitzonen oder von nicht initialisierten Zufallszahlen abhängen.
- Ressourcenlimits. Ein zu schwach ausgestatteter Runner verursacht Timeouts, die auf einem Laptop nie auftreten.
- Umgebungsabweichungen. Unterschiedliche Versionen von Browsern, Locales oder Abhängigkeiten zwischen den Durchläufen.
Flakiness erkennen
- Wiederholen und vergleichen. Schlägt ein Fehler bei einem Retry ohne Codeänderung erfolgreich durch, ist der Test flaky.
- Den Test oft ausführen. Eine Schleife mit 50 bis 100 Durchläufen reproduziert das Problem oft.
- Verlauf verfolgen. Bestehen und Fehlschlagen jedes Tests pro Commit erfassen. Ein Test, der bei demselben Commit zwischen pass/fail wechselt, ist der Verursacher.
- Reihenfolge zufällig mischen. Viele Runner können Tests mischen, um Reihenfolgeabhängigkeiten aufzudecken.
Beispiel
Playwright kann in der CI Tests wiederholen und Traces für die Fehlschläge speichern, damit Sie sie untersuchen können:
- run: npx playwright test --retries=2 --trace=on-first-retry
- uses: actions/upload-artifact@v4
if: failure()
with:
name: playwright-traces
path: test-results/
Wiederholungen machen den Build grün, verbergen aber das Problem. Behandeln Sie einen Test, der einen Retry benötigte, als zu behebenden Fehler. Ausführlichere Leitfäden: Flaky Tests und Flaky End-to-End-Tests.
Häufige Fehler
- Endloses Wiederholen. Automatische Wiederholungen verdecken Flakes und erhöhen die CI-Minuten.
- Längere Sleeps einbauen. Das senkt die Rate, beseitigt das Race jedoch nie. Warten Sie stattdessen auf eine Bedingung.
- Den Test löschen. Sie verlieren Testabdeckung. Isolieren Sie ihn in einen separaten, nicht blockierenden Job, legen Sie ein Issue an und beheben Sie das Problem.
- Die Kosten in einer Merge Queue ignorieren. Ein einziger Flake wirft einen Pull Request heraus und startet die dahinterliegenden neu.
- Die CI verantwortlich machen. Manchmal ist die Maschine der Auslöser, der Fehler liegt aber trotzdem im Test.
Verwandte Begriffe
FAQ
Wie verbreitet sind Flaky Tests?
Große Codebasen haben fast immer welche. Die Raten schwanken, daher sollten Sie Ihre eigene Historie aus pass/fail messen, statt einer Branchenzahl zu vertrauen.
Sollte ich Flaky Tests in der CI wiederholen?
Nutzen Sie Retries als Übergangslösung mit Reporting, damit jeder wiederholte Test sichtbar wird und behoben wird.
Können langsame Runner Flakiness verursachen?
Ja. Timeouts, die auf einer 2-Core-Maschine knapp bemessen sind, bestehen auf einer schnelleren möglicherweise, doch die eigentliche Lösung ist, auf Bedingungen statt auf Zeit zu warten.
Verwandt
- Instabile E2E-Tests: Ursachen und dauerhafte LösungenInstabile E2E-Tests beheben: falsche Wartezeiten, Testisolierung und gemeinsamer Datenbankstatus. Retries und Quarantäne nutzen, ohne Fehler zu verstecken.
- Flaky Tests in der CI finden, beheben und eingrenzenEin praktischer Plan für flaky Tests: Flake-Rate messen, Wiederholungen zur Erkennung nutzen, sicher isolieren und die üblichen Ursachen beheben.
- Test-Sharding: Bedeutung, Jest, Gradle, Bazel und mehrTest-Sharding erklärt: Was es bedeutet und wie Sie Jest, Playwright, Vitest, Gradle, Bazel, Flutter, dotnet und Android-Tests in GitHub Actions aufteilen.
- Was ist Test-Sharding in der CI?Test-Sharding teilt eine Testsuite in Abschnitte, die parallel auf getrennten CI-Maschinen laufen und so die Laufzeit senken. Funktion und typische Fehler.