Zum Inhalt springen

Was ist ein flaky Test? Definition und Ursachen

Zuletzt aktualisiert am

Ein Flaky Test ist ein Test, der auf exakt demselben Code manchmal besteht und manchmal fehlschlägt, ohne dass sich der Test oder die Anwendung geändert hat. Da das Ergebnis nicht deterministisch ist, sagt ein Fehlschlag nichts Verlässliches aus, und Teams gewöhnen sich daran, rote Builds zu ignorieren.

So funktioniert es

Flakiness entsteht durch etwas, das der Test nicht kontrolliert. Der Test ist unter manchen Bedingungen korrekt und unter anderen falsch, und die CI trifft gelegentlich auf die falschen. Häufige Ursachen:

  • Timing und Race Conditions. Feste Sleeps, nicht abgewartete asynchrone Abläufe, Klicks auf UI-Elemente, bevor sie gerendert sind.
  • Geteilter Zustand. Tests, die von der Reihenfolge abhängen, Daten zurücklassen oder sich mit parallelen Tests eine Datenbank teilen. Test-Sharding macht dies häufig sichtbar.
  • Externe Dienste. Echte Netzwerkaufrufe, Rate Limits, Sandboxes von Drittanbietern.
  • Zeit und Zufall. Tests, die vom aktuellen Datum, von Zeitzonen oder von nicht initialisierten Zufallszahlen abhängen.
  • Ressourcenlimits. Ein zu schwach ausgestatteter Runner verursacht Timeouts, die auf einem Laptop nie auftreten.
  • Umgebungsabweichungen. Unterschiedliche Versionen von Browsern, Locales oder Abhängigkeiten zwischen den Durchläufen.

Flakiness erkennen

  1. Wiederholen und vergleichen. Schlägt ein Fehler bei einem Retry ohne Codeänderung erfolgreich durch, ist der Test flaky.
  2. Den Test oft ausführen. Eine Schleife mit 50 bis 100 Durchläufen reproduziert das Problem oft.
  3. Verlauf verfolgen. Bestehen und Fehlschlagen jedes Tests pro Commit erfassen. Ein Test, der bei demselben Commit zwischen pass/fail wechselt, ist der Verursacher.
  4. Reihenfolge zufällig mischen. Viele Runner können Tests mischen, um Reihenfolgeabhängigkeiten aufzudecken.

Beispiel

Playwright kann in der CI Tests wiederholen und Traces für die Fehlschläge speichern, damit Sie sie untersuchen können:

- run: npx playwright test --retries=2 --trace=on-first-retry
- uses: actions/upload-artifact@v4
  if: failure()
  with:
    name: playwright-traces
    path: test-results/

Wiederholungen machen den Build grün, verbergen aber das Problem. Behandeln Sie einen Test, der einen Retry benötigte, als zu behebenden Fehler. Ausführlichere Leitfäden: Flaky Tests und Flaky End-to-End-Tests.

Häufige Fehler

  • Endloses Wiederholen. Automatische Wiederholungen verdecken Flakes und erhöhen die CI-Minuten.
  • Längere Sleeps einbauen. Das senkt die Rate, beseitigt das Race jedoch nie. Warten Sie stattdessen auf eine Bedingung.
  • Den Test löschen. Sie verlieren Testabdeckung. Isolieren Sie ihn in einen separaten, nicht blockierenden Job, legen Sie ein Issue an und beheben Sie das Problem.
  • Die Kosten in einer Merge Queue ignorieren. Ein einziger Flake wirft einen Pull Request heraus und startet die dahinterliegenden neu.
  • Die CI verantwortlich machen. Manchmal ist die Maschine der Auslöser, der Fehler liegt aber trotzdem im Test.

FAQ

Wie verbreitet sind Flaky Tests?

Große Codebasen haben fast immer welche. Die Raten schwanken, daher sollten Sie Ihre eigene Historie aus pass/fail messen, statt einer Branchenzahl zu vertrauen.

Sollte ich Flaky Tests in der CI wiederholen?

Nutzen Sie Retries als Übergangslösung mit Reporting, damit jeder wiederholte Test sichtbar wird und behoben wird.

Können langsame Runner Flakiness verursachen?

Ja. Timeouts, die auf einer 2-Core-Maschine knapp bemessen sind, bestehen auf einer schnelleren möglicherweise, doch die eigentliche Lösung ist, auf Bedingungen statt auf Zeit zu warten.