Was ist Test-Sharding in der CI?
Zuletzt aktualisiert am
Test-Sharding bedeutet, eine Test-Suite in mehrere Abschnitte, sogenannte Shards, aufzuteilen und jeden Abschnitt parallel auf einer eigenen CI-Maschine auszuführen, damit die gesamte Suite schneller abgeschlossen ist.
So funktioniert es
Sie wählen eine Anzahl an Shards, etwa 4. Jeder Job erhält seinen Index (1 bis 4) und die Gesamtzahl und führt nur die Tests aus, die ihm zugewiesen wurden. Wenn alle Shards erfolgreich sind, ist auch die Suite erfolgreich. Bei gleichmäßig großen Tests sinkt die Laufzeit auf etwa ein Viertel, abzüglich des festen Einrichtungsaufwands, den jeder Shard trägt (Checkout, Installation, Build).
Die meisten Test-Runner unterstützen dies nativ: Playwright bietet --shard=1/4, Jest --shard=1/4, Vitest --shard=1/4, und pytest nutzt Plugins wie pytest-split oder pytest-xdist für die Parallelisierung innerhalb einer Maschine. Ein Matrix-Build ist die übliche Methode, um die Shards zu starten.
Beispiel
jobs:
test:
runs-on: ubuntu-latest
strategy:
fail-fast: false
matrix:
shard: [1, 2, 3, 4]
steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4
with:
node-version: 22
cache: npm
- run: npm ci
- run: npx playwright test --shard=${{ matrix.shard }}/4
Aufteilungsstrategien
- Nach Dateianzahl: einfach, aber ungleichmäßig, wenn manche Dateien langsam sind.
- Nach historischer Laufzeit: verteilt die Shards anhand früherer Laufzeiten. Die besten Ergebnisse.
- Nach Testanzahl: das Verfahren vieler integrierter
--shard-Flags. Geeignet, wenn die Tests ähnlich lang laufen.
Nutzen Sie den Test-Shard-Rechner, um die optimale Shard-Anzahl abzuschätzen, und lesen Sie Test-Sharding in GitHub Actions für eine ausführliche Anleitung.
Häufige Fehler
- Zu viele Shards. Der Einrichtungsaufwand fällt pro Shard an. Ab einem bestimmten Punkt kosten weitere Shards mehr Minuten, ohne Zeit zu sparen.
- Gemeinsamer Datenbankzustand. Parallel laufende Shards, die auf dieselbe Datenbank zugreifen, kollidieren. Geben Sie jedem Shard eine eigene Datenbank oder ein eigenes Schema.
- Unausgewogene Shards. Ein langsamer Shard bestimmt die Gesamtzeit. Prüfen Sie die Laufzeiten pro Shard.
- Instabilität verdecken. Parallele Läufe machen reihenfolgeabhängige Fehler sichtbar. Siehe instabile Tests.
- Berichte nicht zusammenführen. Jeder Shard erzeugt nur eine Teilabdeckung oder Teilberichte. Führen Sie sie in einem abschließenden Job zusammen.
Sharding tauscht mehr gesamte CI-Minuten gegen weniger Wartezeit. Schnellere Maschinen senken auch die Kosten pro Shard; die Benchmarks von compiler.dev verwenden 10 Shards, siehe /benchmarks.
Verwandte Begriffe
FAQ
Wie viele Shards sollte ich verwenden?
Beginnen Sie dort, wo jeder Shard 2 bis 5 Minuten läuft. Darunter dominiert der Einrichtungsaufwand.
Ist Sharding dasselbe wie Parallelisierung?
Sharding verteilt Tests auf mehrere Maschinen. Parallelisierung innerhalb einer Maschine nutzt mehrere Worker oder CPUs. Nutzen Sie beides.
Senkt Sharding die Kosten?
In der Regel nicht. Die gesamte Rechenzeit bleibt ähnlich oder steigt leicht. Es verkürzt jedoch die Wartezeit für Entwickler.
Verwandt
- Test-Sharding: Bedeutung, Jest, Gradle, Bazel und mehrTest-Sharding erklärt: Was es bedeutet und wie Sie Jest, Playwright, Vitest, Gradle, Bazel, Flutter, dotnet und Android-Tests in GitHub Actions aufteilen.
- Was ist ein flaky Test? Definition und UrsachenEin instabiler Test besteht und scheitert am selben Code, ohne dass sich etwas ändert. Ursachen, Erkennung in der CI und Behebung oder Quarantäne.
- Was sind CI-Minuten? GitHub Actions Abrechnung erklärtCI-Minuten sind die abgerechnete Rechenzeit Ihrer Pipelines. So zählt GitHub Actions Minuten, Rundung und Multiplikatoren, und so senken Sie den Verbrauch.
- Was ist ein Cache-Schlüssel in GitHub Actions?Ein Cache-Key ist der Bezeichner eines gespeicherten Caches in GitHub Actions. So funktionieren Keys und restore-keys und so vermeiden Sie veraltete Caches.