Langsame E2E-Tests: Ursachen und Lösungen
Zuletzt aktualisiert
Langsame E2E-Tests sind der häufigste Grund, warum ein Pull Request 30 Minuten bis zum grünen Status braucht. Wenn Ihre E2E-Tests langsam sind, sind es oft auch Ihre langsamen Integrationstests und wahrscheinlich Ihre Tests insgesamt: Die Ursachen überschneiden sich. Dieser Leitfaden ist die Übersichtsseite zu diesem Thema. Er zeigt, wie Sie herausfinden, wo die Zeit verloren geht, und verweist für jedes Framework auf die passende Lösung.
Warum sind E2E-Tests langsam?
End-to-End-Tests steuern einen echten Browser gegen eine echte Anwendung. Dadurch fällt bei jedem Test Arbeit an, die ein Unit-Test nie erledigen muss. Die Zeit geht typischerweise für Folgendes drauf:
- Starten von Komponenten: Anwendungsserver, Datenbank, Browser und Anmeldung. Wird das für jeden Test statt einmal ausgeführt, dominiert dieser Aufwand die Laufzeit.
- Feste Wartezeiten:
sleep(5000)oderwaitForTimeout, wo ein Ereignis genügen würde. Jede dieser Wartezeiten fällt bei jedem Lauf an, auch wenn die Seite schon nach 200 ms bereit war. - Serielle Ausführung: ein einziger Worker auf einem Runner mit 2 vCPUs, sodass Tests hintereinander warten müssen.
- Wiederholungen: instabile Tests werden erneut ausgeführt, und jede Wiederholung verdoppelt die Kosten dieses Tests. Siehe instabile E2E-Tests.
- Zu viele E2E-Tests: Prüfungen, die ein Unit- oder Integrationstest übernehmen könnte, laufen über die Benutzeroberfläche. Siehe Unit-Tests vs. E2E-Tests.
- Kalte CI-Umgebung: Browser-Downloads, Installation der Abhängigkeiten und Image-Pulls bei jedem Lauf.
Schritt 1: pro Test messen, nicht pro Lauf
Jedes Framework kann die Laufzeiten einzelner Tests ausgeben. Sortieren Sie absteigend und betrachten Sie die oberen 20: Meist verursachen 20 Prozent der Tests 60 Prozent der Zeit.
npx playwright test --reporter=list,json # durations in the JSON output
npx jest --verbose # per-test times
npx vitest run --reporter=verbose
pytest --durations=20
Erfassen Sie außerdem die Zeit außerhalb der Tests: Checkout, Installation, Browser-Installation, Serverstart. Macht dies mehr als 20 Prozent des Jobs aus, beheben Sie zuerst das Setup mit Caching, bevor Sie die Tests anfassen.
Schritt 2: feste Wartezeiten und gemeinsame Setup-Kosten entfernen
Ersetzen Sie Sleeps durch bedingungsbasierte Wartezeiten (automatisch wartende Locators, expect(...).toBeVisible(), Netzwerk-Leerlauf bei einer bestimmten Anfrage). Melden Sie sich einmal an und verwenden Sie die Sitzung wieder, statt sich in jedem Test über die Oberfläche anzumelden. Legen Sie Testdaten über eine API oder die Datenbank an, nicht durch Klicks. Details zu den einzelnen Werkzeugen:
- Playwright-Tests langsam:
storageState, Worker,--shard - Cypress-Tests langsam:
cy.session, parallele Läufe - Langsame Pytest-Tests: Marker, xdist, Aufteilung
Schritt 3: parallel ausführen
Es gibt zwei Arten von Parallelität, die Sie gemeinsam nutzen:
- Worker innerhalb eines Jobs. Begrenzt durch die Kerne des Runners. Eine Maschine mit 2 vCPUs bietet höchstens zwei oder drei Browser-Worker.
- Shards über mehrere Jobs. Jeder Shard erhält einen eigenen Runner, daher sinkt die Gesamtlaufzeit ungefähr im Verhältnis zur Anzahl der Shards. Der Leitfaden Test-Sharding enthält Matrix-Beispiele, und der Test-Sharding-Planer schätzt die Anzahl der Shards anhand Ihrer Zielzeit und Ihrer Kosten.
strategy:
fail-fast: false
matrix:
shard: [1, 2, 3, 4]
steps:
- run: npx playwright test --shard=${{ matrix.shard }}/4
Parallele Tests brauchen Isolation: getrennte Daten je Worker, kein gemeinsamer veränderlicher Zustand, eindeutige Konten oder Mandanten. Wenn Parallelität Tests fehlschlagen lässt, hatten die Tests versteckte Abhängigkeiten, und das ist wichtig zu wissen.
Schritt 4: langsame Unit- und Integrationstests
Nicht jede langsame Testsuite läuft über einen Browser. Für langsame Integrations- und Unit-Tests in JavaScript und Python:
- Langsame Jest-Tests: Transformationen, Worker,
--shard - Langsame Vitest-Tests: Isolation, Pools, Importzeit
- Langsame Pytest-Tests:
-n auto,--durations, Marker
Integrationstests sind oft langsam, weil für jeden Test ein Datenbankschema angelegt wird. Erstellen Sie es einmal pro Worker, kapseln Sie jeden Test in einer Transaktion und machen Sie sie rückgängig. Leeren Sie Tabellen zwischen Dateien nur dann, wenn es unbedingt nötig ist.
Schritt 5: der Arbeit mehr CPU geben
Browser-Tests sind rechenintensiv. Wenn Worker auf einer 2-Kern-Maschine warten, kann ein größerer Runner die günstigste Lösung sein, da der Preis pro Minute ungefähr mit der Anzahl der Kerne steigt, während sich die Laufzeit verkürzt. Der Leitfaden schnellere GitHub Actions Runner vergleicht die Optionen. compiler.dev ist eine davon: Über 18 gemessene Stacks war er im Median 1.5× schneller als der 2-Kern-Runner von GitHub (15 schneller, 2 gleich, 1 langsamer). Linux mit 8 vCPU kostet $0.008 pro Minute, und der Vergleichsmodus misst Ihre eigenen Jobs, bevor Sie sich festlegen. Prüfen Sie das Ergebnis an Ihrer Suite, denn Testsuiten, die von externen Diensten gebunden werden, werden nicht schneller.
Schritt 6: festlegen, was den PR blockieren muss
Nicht jeder E2E-Test muss bei jedem Push laufen. Führen Sie auf PRs eine kleine Smoke-Auswahl aus (5 bis 10 Minuten), die vollständige Suite beim Merge in main oder nach Zeitplan, und nutzen Sie eine Merge Queue als letzte Prüfung. Den Rest der Pipeline finden Sie in der Übersicht zu langsamer CI.
Kurze Checkliste
- Laufzeiten pro Test erfasst; die oberen 20 geprüft
- Keine festen Sleeps; Anmeldung einmal durchgeführt und wiederverwendet
- Testdaten über API oder Datenbank angelegt
- Browser und Abhängigkeiten gecacht, nur benötigte Browser installiert
- Worker entsprechen den Kernen; Shards laut Planer gewählt
- Wiederholungen auf 1 oder 2 begrenzt, Liste instabiler Tests wöchentlich geprüft
- Smoke-Auswahl auf PRs, vollständige Suite nach dem Merge
FAQ
Warum laufen meine E2E-Tests in der CI langsam, lokal aber schnell?
CI-Runner haben meist weniger Kerne, kalte Caches und keinen vorgewärmten Browser oder Server. Ihr Laptop hat womöglich 8 bis 16 schnelle Kerne. Führen Sie die Tests mit der gleichen Anzahl an Workern aus und messen Sie die Setup-Zeit separat.
Wie viele E2E-Tests sollte ich haben?
Wenige, die die wichtigsten Nutzerreisen abdecken. Testen Sie Geschäftsregeln auf Unit- und Integrationsebene, wo Tests schnell und präzise sind. Die Testpyramide wird im Leitfaden Unit- vs. E2E-Tests erklärt.
Sollte ich langsame Tests wiederholen?
Wiederholungen verschleiern Flakiness und kosten zusätzliche Zeit. Erlauben Sie in der CI ein oder zwei Wiederholungen, erfassen Sie jede Wiederholung als Flake und beheben Sie die Tests, die sie benötigen.
Macht Sharding langsame Tests günstiger?
Nein, es verkürzt die Laufzeit, aber nicht die Kosten. Die abgerechneten Minuten steigen leicht, weil sich das Setup in jedem Shard wiederholt. Cachen Sie das Setup, damit die Mehrkosten gering bleiben.
Verwandt
- Docker-Build in der CI langsam? Ursache finden und behebenDocker-Build in CI zu langsam? Build-Kontext, .dockerignore, Layer-Reihenfolge, Cache-Misses und BuildKit prüfen und zuerst das größte Problem beheben.
- Cypress-Tests zu langsam? So beschleunigen Sie CypressCypress-Tests in CI langsam? Beschleunigen mit cy.session, Intercepts und ohne feste Wartezeiten sowie parallele Cypress-Tests in GitHub Actions.
- Instabile E2E-Tests: Ursachen und dauerhafte LösungenInstabile E2E-Tests beheben: falsche Wartezeiten, Testisolierung und gemeinsamer Datenbankstatus. Retries und Quarantäne nutzen, ohne Fehler zu verstecken.
- Jest langsam? Jest-Tests beschleunigen: Worker und --shardJest-Tests zu langsam? Beschleunigen Sie sie mit schnellerer TypeScript-Transformation, passender Worker-Anzahl und --shard in CI. Mit Konfiguration.