Unit-Tests vs. E2E-Tests: Tempo, Kosten und Testpyramide
Zuletzt aktualisiert
Der Unterschied zwischen Unit-Tests und E2E-Tests liegt im Umfang, und der Umfang bestimmt Geschwindigkeit, Kosten und Flakiness. Ein Unit-Test prüft eine Funktion oder Klasse im Arbeitsspeicher. Ein End-to-End-Test steuert das gesamte System so, wie es ein Nutzer täte. Probleme entstehen, wenn Teams E2E-Tests für Aufgaben einsetzen, die Unit-Tests besser erledigen, und am Ende eine langsame, flaky Suite haben. Dieser Leitfaden vergleicht Unit-Tests und E2E-Tests hinsichtlich Geschwindigkeit und Kosten, zeigt die Testpyramide und gibt eine Entscheidungshilfe. Die Auswirkungen auf die CI-Geschwindigkeit behandelt der Leitfaden zu langsamen E2E-Tests.
Der Vergleich
| Unit | Integration | End-to-End | |
|---|---|---|---|
| Umfang | Eine Funktion oder Klasse | Mehrere Komponenten, oft eine echte Datenbank | Gesamte App über UI oder öffentliche API |
| Typische Zeit pro Test | Millisekunden | Zehn bis Hunderte Millisekunden | Sekunden bis zehn Sekunden und mehr |
| Einrichtung | Keine oder Mocks | Datenbank, Dienste | Browser, App, Datenbank, Seed-Daten |
| Mögliche Fehlerquellen | Wenige | Einige | Viele (jede Schicht) |
| Flakiness | Selten | Gelegentlich | Häufig (instabile E2E-Tests) |
| Fehlerdiagnose | Zeigt auf die Zeile | Zeigt auf eine Komponente | Zeigt auf einen Ablauf, dann muss man graben |
| Vertrauen, dass alles zusammenspielt | Gering | Mittel | Hoch |
Die Zeiten sind typische Größenordnungen, keine Benchmarks: Ihre Suite wird abweichen. Das Muster ist jedoch konstant: Jede Stufe nach oben kostet pro Test grob das 10- bis 100-Fache, sowohl an Laufzeit als auch an Wartung.
Die Testpyramide
Die Testpyramide empfiehlt viele Unit-Tests, weniger Integrationstests und eine kleine Anzahl an E2E-Tests:
/\ few e2e tests: critical user journeys
/ \
/----\ some integration tests: DB, API, services
/ \
/--------\ many unit tests: logic, edge cases
Der Grund sind die Kosten pro Einheit Vertrauen. Eine Preisregel mit 20 Grenzfällen lässt sich in 20 Unit-Tests prüfen, die zusammen 50 ms laufen. Dieselben 20 Fälle über einen Browser dauern Minuten und schlagen aus Gründen fehl, die mit der Preislogik nichts zu tun haben. Setzen Sie E2E-Tests ein, um zu belegen, dass die Teile miteinander verbunden sind (Registrierung, Zahlung, Ergebnis sehen), nicht um Fälle aufzuzählen.
Manche Teams bevorzugen ein „Trophy“- oder „Honeycomb“-Modell mit mehr Integrationstests, besonders bei dienstlastigen Backends. Das Prinzip bleibt dasselbe: Die meisten Prüfungen gehören dorthin, wo sie schnell und präzise sind.
Was jeweils getestet werden sollte
- Unit: Geschäftsregeln, Parsing, Formatierung, Berechnungen, Zustandsautomaten, Fehlerbehandlung und Grenzfälle.
- Integration: Datenbankabfragen und Migrationen, API-Handler mit einer echten Datenbank, Nachrichtenverarbeitung, Authentifizierung und Berechtigungsregeln.
- E2E: eine Handvoll kritischer Abläufe: Anmeldung, Checkout, der Kern-Workflow, für den Ihr Produkt existiert, sowie ein Smoke-Test, dass die bereitgestellte App startet.
Vermeiden Sie E2E-Tests für Validierungsmeldungen, Formatierung, Berechtigungsmatrizen und alles mit vielen Kombinationen.
Der Kostenaspekt: Was ein PR tatsächlich kostet
Betrachten Sie einen Service, bei dem ein PR 2.000 Unit-Tests, 300 Integrationstests und 120 E2E-Tests ausführt, auf einem Runner, der minutengenau abgerechnet wird. Veranschaulichende Werte, keine gemessenen Daten:
- Unit: 2.000 Tests mit je 5 ms ergeben etwa 10 s.
- Integration: 300 Tests mit je 150 ms ergeben etwa 45 s.
- E2E: 120 Tests mit je 15 s ergeben seriell 30 Minuten oder etwa 8 Minuten auf 4 Shards (inklusive Einrichtungszeit).
Die E2E-Ebene macht über 90 Prozent der Laufzeit aus, bei nur 4 Prozent der Tests. In Dollar, bei GitHubs Standardtarif für Linux von $0.006 pro Minute (Preise): 32 serielle Minuten kosten etwa $0.19 pro Lauf, und 4 Shards mit je 8 Minuten ergeben 32 abgerechnete Minuten. Das Geld pro Lauf ist gering; entscheidend sind die Wartezeiten der Entwickler, die der Rechner für die Kosten langsamer CI abschätzt: 30 Minuten Wartezeit bei jedem PR summieren sich für ein Team von 10 schnell.
Wenn Sie 40 dieser E2E-Prüfungen auf Integrationstests verlagern, sparen Sie etwa 10 Minuten serielle Laufzeit, bei einmalig einigen Stunden Arbeit. Dieser Tausch lohnt sich fast immer.
So halten Sie die CI mit allen drei Ebenen schnell
- Nach Geschwindigkeit ordnen. Führen Sie zuerst Unit-Tests aus und brechen Sie früh ab; starten Sie E2E nur, wenn diese bestanden sind, oder führen Sie sie in parallelen Jobs aus, wenn Sie die kürzeste Gesamtlaufzeit wollen.
- Die passenden Tests pro Ereignis ausführen. Smoke-E2E und Unit-Tests bei jedem PR; vollständige E2E-Tests beim Merge in main oder nachts; siehe Merge Queues.
- Die langsame Ebene parallelisieren. E2E-Tests sharden; der Planer wählt die Anzahl.
- Cache für Abhängigkeiten und Browser nutzen (Caching-Leitfaden).
- Geben Sie E2E-Tests genug CPU. Browsertests leiden auf 2 vCPUs. Schnellere GitHub Actions Runner vergleicht die Optionen; compiler.dev war über 18 gemessene Stacks hinweg im Median 1,5× schneller (15 schneller, 2 gleich, 1 langsamer) als der 2-Core-Runner von GitHub, und sein Vergleichsmodus misst Ihre eigenen Jobs.
- Testanzahl ehrlich halten. Schlägt ein E2E-Test zum dritten Mal aus nicht produktbezogenen Gründen fehl, verlagern Sie seine Prüfungen nach unten oder löschen Sie ihn.
Framework-Leitfäden: Jest, Vitest, pytest, Playwright, Cypress. Die gesamte Pipeline finden Sie im Hub für langsame CI.
Eine Faustregel zur Auswahl
Fragen Sie: Auf welcher niedrigsten Ebene könnte dieser Fehler entdeckt werden? Wenn ein Unit-Test ihn finden kann, schreiben Sie einen Unit-Test. Wenn er eine echte Datenbank braucht, schreiben Sie einen Integrationstest. Wenn er nur dann auftritt, wenn Browser, Netzwerk und Server zusammenkommen, schreiben Sie einen E2E-Test.
FAQ
Was ist der Unterschied zwischen Unit-Tests und E2E-Tests?
Unit-Tests prüfen kleine Teile isoliert und schnell. E2E-Tests prüfen das gesamte System über die echte Oberfläche und sind langsam. Sie brauchen beide, in unterschiedlichem Verhältnis.
Sind E2E-Tests besser als Unit-Tests?
Keines von beiden ist besser. E2E-Tests geben pro Test mehr Sicherheit, kosten aber deutlich mehr Zeit und Wartung. Setzen Sie daher wenige davon für die wichtigsten Abläufe ein.
Was ist die Testpyramide?
Ein Modell mit vielen schnellen Unit-Tests an der Basis, weniger Integrationstests in der Mitte und einer kleinen Anzahl von E2E-Tests an der Spitze.
Wie viele E2E-Tests sollte ich haben?
Genug, um Ihre kritischen Abläufe abzudecken, oft eher zehn als hunderte. Überschreitet Ihr E2E-Lauf Ihr Zeitbudget für PRs, verlagern Sie Prüfungen eine Ebene nach unten.
Verwandt
- Cypress-Tests zu langsam? So beschleunigen Sie CypressCypress-Tests in CI langsam? Beschleunigen mit cy.session, Intercepts und ohne feste Wartezeiten sowie parallele Cypress-Tests in GitHub Actions.
- Instabile E2E-Tests: Ursachen und dauerhafte LösungenInstabile E2E-Tests beheben: falsche Wartezeiten, Testisolierung und gemeinsamer Datenbankstatus. Retries und Quarantäne nutzen, ohne Fehler zu verstecken.
- Playwright-Tests langsam in CI? Mit Workern beschleunigenPlaywright-Tests in CI langsam? Beschleunigen mit mehr Workern, wiederverwendetem storageState, gecachten Browsern und --shard. Auch Python.
- Pytest: langsame Tests finden, markieren und beschleunigenLangsame Pytest-Tests finden (--durations), standardmäßig markieren und überspringen, dann mit pytest-xdist und Aufteilung auf CI-Jobs beschleunigen.