Flaky Tests in der CI finden, beheben und eingrenzen
Zuletzt aktualisiert am
Ein flaky Test schlägt bei identischem Code mal fehl und besteht mal. Jeder solche Test bringt Entwicklerinnen und Entwickler dazu, auf „Re-run“ zu klicken und rote Builds zu ignorieren, und genau so werden echte Fehler gemergt. Flakiness kostet außerdem Geld, denn jeder erneute Lauf wird abgerechnet. Dieser Guide zeigt, wie Sie das Problem messen, so eingrenzen, dass es niemanden mehr blockiert, und die üblichen Ursachen beheben.
Wie verbreitet ist das Problem
Das Testteam von Google berichtete 2016, dass fast 16 Prozent seiner Tests in gewissem Maß instabil waren und dass etwa 1.5 Prozent aller Testläufe ein instabiles Ergebnis meldeten. Die Details stehen im Engineering-Blogbeitrag "Flaky Tests at Google and How We Mitigate Them". Ihre Zahlen werden abweichen, doch die Erkenntnis bleibt: In einer großen Testsuite ist eine gewisse Instabilität der Normalfall, und dagegen hilft ein Prozess, kein Heldentum.
Die Kosten lassen sich leicht berechnen. Wenn 10 Prozent der PR-Läufe aus instabilen Gründen fehlschlagen und jeder einen Wiederholungslauf eines 15-minütigen Linux-Jobs mit 2 Kernen auslöst, sind das im Schnitt rund 1.5 zusätzliche Minuten pro PR, abgerechnet zu $0.006 pro Minute, zuzüglich der Wartezeit der Entwicklerin bzw. des Entwicklers. Das Geld ist gering; die eigentlichen Kosten sind verlorenes Vertrauen und Kontextwechsel. Nutzen Sie den Rechner für die Kosten langsamer CI, um die Wartezeit zu beziffern.
Schritt 1: Flake-Rate messen
Was Sie nicht zählen, können Sie nicht steuern. Definieren Sie einen flaky Fehler als: Ein Test ist fehlgeschlagen und bei einem erneuten Lauf desselben Commits bestanden. Erfassen Sie:
- Flake-Rate pro Test (flaky Fehler geteilt durch Läufe).
- Anteil der Workflow-Läufe, die einen erneuten Lauf benötigten.
- Verlorene Zeit durch erneute Läufe.
Die Daten holen Sie aus den Testberichten. Laden Sie JUnit-XML für jeden Lauf hoch und speichern Sie die Ergebnisse in einer einfachen Tabelle, geschlüsselt nach Testname und Commit-SHA. Wenn noch keine Tools vorhanden sind, liefert ein wöchentliches Skript über gh run list, das Läufe mit run_attempt > 1 findet, die schließlich erfolgreich waren, eine erste Schätzung:
gh run list --workflow ci.yml --limit 200 --json databaseId,attempt,conclusion \
--jq '[.[] | select(.attempt > 1 and .conclusion == "success")] | length'
Schritt 2: Flakes gezielt aufspüren
Statt auf zufällige Fehler zu warten, führen Sie verdächtige Tests in einem geplanten Job viele Male erneut aus:
on:
schedule:
- cron: "0 3 * * *"
jobs:
flake-hunt:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- run: go test ./... -count=20 -shuffle=on
Entsprechungen: pytest --count=20 mit pytest-repeat, pytest -p randomly zum Mischen der Testreihenfolge, jest --runInBand plus wiederholte Läufe und Playwrights --repeat-each=10. Das Mischen der Reihenfolge und die parallele Ausführung sind die schnellsten Wege, verborgene Abhängigkeiten zwischen Tests sichtbar zu machen.
Bei einem Pull Request, der Tests hinzufügt oder ändert, führen Sie vor dem Merge nur diese Tests wiederholt aus, 20- bis 50-mal.
Schritt 3: Mit Quarantäne eingrenzen, nicht mit pauschalen Retries
Retries sind verlockend und gefährlich. Ein globales "gesamten Job 3-mal wiederholen" verdeckt echte sporadische Fehler, etwa Race Conditions im Produktivcode, und macht alles langsamer. Gehen Sie dabei in dieser Reihenfolge vor:
- Bekannte flaky Tests in Quarantäne stellen. Markieren Sie sie (
@flaky,pytest.mark.flaky,t.Skiphinter einer Umgebungsvariable) und führen Sie sie in einem separaten, nicht blockierenden Job aus. Sie liefern weiterhin Daten, blockieren aber keine Merges. - Begrenzte Retries für bestimmte Tests, mit Protokollierung. Beispiele:
pytest --reruns 2 --only-rerun ConnectionError,retries: 2in der Playwright-Konfiguration (Tests, die beim Retry bestanden, werden im Bericht als „flaky“ markiert),jest.retryTimes(2)in Jest. - Für jeden Test in Quarantäne ein Ticket mit Verantwortlichen und Frist anlegen. Eine Quarantäne ohne Verantwortliche ist nur Löschen mit Umwegen. Leiten Sie Tickets mit CODEOWNERS an das zuständige Team weiter.
Lassen Sie den Build fehlschlagen, wenn die Quarantäneliste einen Schwellenwert überschreitet, und prüfen Sie sie wöchentlich.
Schritt 4: Die üblichen Ursachen beheben
Die meisten Flakes gehören zu einer kurzen Liste von Ursachen.
| Ursache | Symptom | Lösung |
|---|---|---|
| Ursache | Schlägt kurz vor Mitternacht, bei Zeitumstellung oder zum Monatsende fehl | Uhr injizieren; Zeit in Tests einfrieren |
| Asynchrone Wartezeiten | sleep(1) oder zeitabhängige Assertions | Auf eine Bedingung oder ein Ereignis warten, mit Timeout |
| Geteilter Zustand | Besteht allein, schlägt in der Suite fehl | Daten pro Test isolieren; Datenbanken und globale Zustände zurücksetzen |
| Testreihenfolge | Schlägt bei gemischter Reihenfolge fehl | Abhängigkeiten zwischen Tests entfernen |
| Ports und Dateien | „address already in use“ | Ephemere Ports und temporäre Verzeichnisse verwenden |
| Externe Dienste | Netzwerkfehler | Fakes oder aufgezeichnete Antworten verwenden; Tests mit echten Diensten in einem separaten Job belassen |
| Ressourcenlimits | Lokal erfolgreich, auf 2-Core-CI fehlgeschlagen | Parallelität reduzieren oder einen größeren Runner verwenden |
| Zufälligkeit | Seed-abhängig | Den Seed protokollieren und ihn bei einem Fehler für die Reproduktion festlegen |
| UI-Timing | Element noch nicht sichtbar | Das Auto-Warten und die web-first-Assertions des Frameworks nutzen |
Den Seed und die Testreihenfolge für jeden Lauf protokollieren, damit ein Fehler reproduziert werden kann. Artefakte wie Screenshots, Traces und Server-Logs für fehlgeschlagene Tests aufbewahren (if: failure()).
Schritt 5: Reproduzieren
Um einen flaky Test unter CI-Bedingungen zu reproduzieren, führen Sie ihn in einer Schleife auf demselben Runner-Typ und im selben Container aus:
for i in $(seq 1 100); do pytest tests/test_checkout.py -x -q || break; done
Wenn er nur unter Last fehlschlägt, führen Sie ihn zusammen mit einem CPU-Stresstest aus oder begrenzen Sie den Container: docker run --cpus=1 --memory=2g. Viele flaky Tests, die nur in der CI auftreten, werden durch die kleinere Maschine verursacht, und ein größerer Runner beseitigt sie, ohne die Ursache zu beheben. Das kann kurzfristig eine sinnvolle Maßnahme sein, aber halten Sie die eigentliche Lösung schriftlich fest.
Neue Instabilitäten verhindern
- Neue Tests in dem PR, der sie hinzufügt, 20-mal ausführen.
- Die gesamte Suite in einem nächtlichen Job mit zufälliger Reihenfolge ausführen.
- Testcode auf Sleeps, geteilten Zustand und echte Netzwerkaufrufe überprüfen.
- Einen flaky Test als Fehler mit derselben Priorität behandeln wie einen fehlschlagenden Test, denn für Entwickler ist er genau das.
Wenn Sie Tests sharden, lesen Sie in Test-Sharding und parallele Tests, wie Sie dabei keine Reihenfolgeabhängigkeiten verbergen.
FAQ
Sollte ich fehlgeschlagene Tests in der CI automatisch wiederholen?
Nur bei bekannten, eng umrissenen Ursachen, und jeden Wiederholungsversuch protokollieren, damit Tests, die erst beim erneuten Lauf bestehen, in einem Bericht erscheinen. Pauschale Wiederholungen verdecken echte Probleme.
Ist ein flaky Test schlechter als gar kein Test?
Oft ja, wenn man ihn ignoriert. Ein isolierter, nachverfolgter Test ist besser als ein blockierender Test, den alle erneut ausführen.
Wie gehe ich mit flaky End-to-End-Tests um?
Halten Sie deren Anzahl gering, testen Sie nach Möglichkeit über die API, verwenden Sie Locators mit Auto-Warten, isolieren Sie Testdaten und bewahren Sie Traces für Fehler auf. Führen Sie sie aus, nachdem günstigere Prüfungen bestanden wurden.
Beeinflussen flaky Tests die DORA-Metriken?
Ja: Wiederholungen verlängern die Lead Time, und eine hohe Wiederholungsrate verschleiert Ihre tatsächliche Change-Failure-Rate. Siehe DORA-Metriken.
Den Effekt messen
Vergleichen Sie nach einer Bereinigung Wiederholungsraten und mediane PR-Zeiten vor und nach der Maßnahme. Wenn Sie zusätzlich wissen möchten, ob ein Fehler ein durch CPU-Knappheit verursachter flaky Test ist, führt der Vergleichsmodus von compiler.dev denselben Job auf einer größeren Maschine aus, sodass Sie sehen, ob der Fehler verschwindet, wenn die Ressourcen es tun.
Verwandt
- Cypress-Tests zu langsam? So beschleunigen Sie CypressCypress-Tests in CI langsam? Beschleunigen mit cy.session, Intercepts und ohne feste Wartezeiten sowie parallele Cypress-Tests in GitHub Actions.
- Instabile E2E-Tests: Ursachen und dauerhafte LösungenInstabile E2E-Tests beheben: falsche Wartezeiten, Testisolierung und gemeinsamer Datenbankstatus. Retries und Quarantäne nutzen, ohne Fehler zu verstecken.
- Playwright-Tests langsam in CI? Mit Workern beschleunigenPlaywright-Tests in CI langsam? Beschleunigen mit mehr Workern, wiederverwendetem storageState, gecachten Browsern und --shard. Auch Python.
- Pytest: langsame Tests finden, markieren und beschleunigenLangsame Pytest-Tests finden (--durations), standardmäßig markieren und überspringen, dann mit pytest-xdist und Aufteilung auf CI-Jobs beschleunigen.