Zum Inhalt springen

Was ist Test-Sharding in der CI?

Zuletzt aktualisiert am

Test-Sharding bedeutet, eine Test-Suite in mehrere Abschnitte, sogenannte Shards, aufzuteilen und jeden Abschnitt parallel auf einer eigenen CI-Maschine auszuführen, damit die gesamte Suite schneller abgeschlossen ist.

So funktioniert es

Sie wählen eine Anzahl an Shards, etwa 4. Jeder Job erhält seinen Index (1 bis 4) und die Gesamtzahl und führt nur die Tests aus, die ihm zugewiesen wurden. Wenn alle Shards erfolgreich sind, ist auch die Suite erfolgreich. Bei gleichmäßig großen Tests sinkt die Laufzeit auf etwa ein Viertel, abzüglich des festen Einrichtungsaufwands, den jeder Shard trägt (Checkout, Installation, Build).

Die meisten Test-Runner unterstützen dies nativ: Playwright bietet --shard=1/4, Jest --shard=1/4, Vitest --shard=1/4, und pytest nutzt Plugins wie pytest-split oder pytest-xdist für die Parallelisierung innerhalb einer Maschine. Ein Matrix-Build ist die übliche Methode, um die Shards zu starten.

Beispiel

jobs:
  test:
    runs-on: ubuntu-latest
    strategy:
      fail-fast: false
      matrix:
        shard: [1, 2, 3, 4]
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: 22
          cache: npm
      - run: npm ci
      - run: npx playwright test --shard=${{ matrix.shard }}/4

Aufteilungsstrategien

  • Nach Dateianzahl: einfach, aber ungleichmäßig, wenn manche Dateien langsam sind.
  • Nach historischer Laufzeit: verteilt die Shards anhand früherer Laufzeiten. Die besten Ergebnisse.
  • Nach Testanzahl: das Verfahren vieler integrierter --shard-Flags. Geeignet, wenn die Tests ähnlich lang laufen.

Nutzen Sie den Test-Shard-Rechner, um die optimale Shard-Anzahl abzuschätzen, und lesen Sie Test-Sharding in GitHub Actions für eine ausführliche Anleitung.

Häufige Fehler

  • Zu viele Shards. Der Einrichtungsaufwand fällt pro Shard an. Ab einem bestimmten Punkt kosten weitere Shards mehr Minuten, ohne Zeit zu sparen.
  • Gemeinsamer Datenbankzustand. Parallel laufende Shards, die auf dieselbe Datenbank zugreifen, kollidieren. Geben Sie jedem Shard eine eigene Datenbank oder ein eigenes Schema.
  • Unausgewogene Shards. Ein langsamer Shard bestimmt die Gesamtzeit. Prüfen Sie die Laufzeiten pro Shard.
  • Instabilität verdecken. Parallele Läufe machen reihenfolgeabhängige Fehler sichtbar. Siehe instabile Tests.
  • Berichte nicht zusammenführen. Jeder Shard erzeugt nur eine Teilabdeckung oder Teilberichte. Führen Sie sie in einem abschließenden Job zusammen.

Sharding tauscht mehr gesamte CI-Minuten gegen weniger Wartezeit. Schnellere Maschinen senken auch die Kosten pro Shard; die Benchmarks von compiler.dev verwenden 10 Shards, siehe /benchmarks.

FAQ

Wie viele Shards sollte ich verwenden?

Beginnen Sie dort, wo jeder Shard 2 bis 5 Minuten läuft. Darunter dominiert der Einrichtungsaufwand.

Ist Sharding dasselbe wie Parallelisierung?

Sharding verteilt Tests auf mehrere Maschinen. Parallelisierung innerhalb einer Maschine nutzt mehrere Worker oder CPUs. Nutzen Sie beides.

Senkt Sharding die Kosten?

In der Regel nicht. Die gesamte Rechenzeit bleibt ähnlich oder steigt leicht. Es verkürzt jedoch die Wartezeit für Entwickler.