Playwright im Monorepo mit GitHub Actions beschleunigen
Zuletzt aktualisiert am
In einem Monorepo ist Playwright aus Gründen langsam, die es in einem Einzel-App-Projekt nicht gibt. Jeder Shard baut die App erneut, E2E-Tests laufen bei Pull Requests, die die Web-App nie berührt haben, und jeder Job installiert den Browser, bevor er einen einzigen Test ausführt. Um das zu beschleunigen, bauen Sie einmal und teilen den Build, führen E2E-Tests nur aus, wenn sich die Web-App oder etwas, von dem sie abhängt, geändert hat, und verteilen dann die Tests auf Shards und führen die Reports zusammen.
Dieser Leitfaden behandelt das Monorepo-Layout. Für die Grundlagen auf Testebene (Worker, storageState, auf das Richtige warten) lesen Sie zuerst Playwright-Tests sind langsam. Wie das Sharding selbst funktioniert, erfahren Sie unter Test-Sharding in GitHub Actions.
Einmal bauen, den Build testen
Die übliche erste Version eines Playwright-Workflows verteilt die Tests auf vier Jobs, und jeder Job installiert Abhängigkeiten, baut die App und startet sie anschließend. Der Build läuft so viermal für denselben Commit. Bauen Sie einmal in einem Job und übergeben Sie die Ausgabe an die Shards:
jobs:
build:
runs-on: [self-hosted, Linux, compiler-ci] # or ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: pnpm/action-setup@v6
- uses: actions/setup-node@v7
with:
node-version: 22
cache: pnpm
- run: pnpm install --frozen-lockfile
- run: pnpm --filter web... build
- uses: actions/upload-artifact@v4
with:
name: web-build
path: apps/web/dist
retention-days: 1
pnpm --filter web... build baut die web-App und die Workspace-Pakete, von denen sie abhängt, und nichts anderes. Das ... nach dem Namen bedeutet "dieses Paket und seine Abhängigkeiten". Jeder Shard lädt dann den Build herunter und startet ihn:
// apps/web/playwright.config.ts
import { defineConfig } from "@playwright/test";
export default defineConfig({
fullyParallel: true,
reporter: process.env.CI ? [["blob"], ["list"]] : "list",
webServer: {
command: "pnpm exec vite preview --port 4173 --strictPort",
url: "http://localhost:4173",
reuseExistingServer: !process.env.CI,
},
});
Stellen Sie den Produktions-Build bereit, nicht einen Dev-Server. Ein Dev-Server kompiliert Dateien bei Bedarf, während Ihre Tests warten. Verwenden Sie das Äquivalent für Ihr Framework, etwa next start für Next.js. Das Artefakt kostet einen Upload und einen Download, daher lohnt es sich, wenn der Build länger dauert als das. Setzen Sie retention-days niedrig, denn niemand braucht den Build von letzter Woche.
E2E nur ausführen, wenn sich die Web-App geändert hat
In einem Monorepo berühren die meisten Pull Requests einen Teil des Repositorys, den Ihre E2E-Suite nicht prüft. Entscheiden Sie in einem kleinen ersten Job, ob die Suite überhaupt laufen muss:
changes:
runs-on: ubuntu-latest
outputs:
web: ${{ steps.filter.outputs.web }}
steps:
- uses: actions/checkout@v6
- uses: dorny/paths-filter@v3
id: filter
with:
filters: |
web:
- 'apps/web/**'
- 'packages/ui/**'
- 'packages/api-client/**'
- 'pnpm-lock.yaml'
und steuern Sie Build und Shards mit if: needs.changes.outputs.web == 'true' darüber. Die Schwäche einer Pfadliste ist, dass Sie sie von Hand pflegen: Wenn apps/web von einem neuen Paket abhängig wird, muss jemand es hinzufügen. Wenn Ihre Pakete ihre Abhängigkeiten sauber deklarieren, lassen Sie stattdessen pnpm das ermitteln, wie unter schnellste CI für pnpm-Workspaces beschrieben. In beiden Fällen führen Sie die gesamte E2E-Suite bei Pushes auf main aus, damit ein übersprungener Lauf bei einem Pull Request einen Fehler nicht lange verbergen kann.
Halten Sie den Filter im Workflow als Job und nicht im paths:-Trigger des Workflows. Laut der GitHub-Dokumentation bleiben die Checks, die ein komplett per Pfadfilter übersprungener Workflow melden würde, auf "ausstehend" stehen, sodass ein Pull Request, der sie verlangt, nicht gemergt werden kann. Ein Job, der durch if: übersprungen wird, meldet Erfolg.
--only-changed ist kein Ersatz
Playwright bietet --only-changed. Laut Hilfetext führt es nur Testdateien aus, die sich zwischen HEAD und einer von Ihnen angegebenen Referenz geändert haben, und dafür benötigt es Git:
npx playwright test --only-changed=origin/main
Wir haben es mit einem kleinen Projekt und Playwright 1.63 ausprobiert. Es wählt eine Testdatei aus, wenn die Datei selbst geändert wurde oder eine Datei, die sie importiert. Es kennt Ihre Anwendung nicht. Ein Pull Request, der app/page.ts ändert, die keine Testdatei importiert, wählte null Tests aus. Ihre End-to-End-Tests steuern die App über einen Browser, daher sehen fast alle Änderungen an der Anwendung so aus. Verwenden Sie --only-changed für schnelles Feedback beim Schreiben von Tests oder für einen Pull Request, der nur Specs und Test-Helfer bearbeitet, nicht als Sicherheitsnetz. Es benötigt den Basis-Branch im Klon, also checken Sie mit fetch-depth: 0 aus.
Sharding und Zusammenführen
Sobald der Build als Artefakt verfügbar ist, müssen die Shard-Jobs nur noch installieren, herunterladen und testen:
e2e:
needs: build
runs-on: [self-hosted, Linux, compiler-ci]
strategy:
fail-fast: false
matrix:
shard: [1, 2, 3, 4]
steps:
- uses: actions/checkout@v6
- uses: pnpm/action-setup@v6
- uses: actions/setup-node@v7
with:
node-version: 22
cache: pnpm
- run: pnpm install --frozen-lockfile --filter web...
- uses: actions/download-artifact@v4
with:
name: web-build
path: apps/web/dist
- run: pnpm --filter web exec playwright install --with-deps chromium
- run: pnpm --filter web exec playwright test --shard=${{ matrix.shard }}/4
- uses: actions/upload-artifact@v4
if: ${{ !cancelled() }}
with:
name: blob-report-${{ matrix.shard }}
path: apps/web/blob-report
retention-days: 1
report:
needs: e2e
if: ${{ !cancelled() }}
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: pnpm/action-setup@v6
- uses: actions/setup-node@v7
with:
node-version: 22
cache: pnpm
- run: pnpm install --frozen-lockfile --filter web...
- uses: actions/download-artifact@v4
with:
pattern: blob-report-*
path: all-blob-reports
merge-multiple: true
- run: pnpm --filter web exec playwright merge-reports --reporter html ../../all-blob-reports
- uses: actions/upload-artifact@v4
with:
name: playwright-report
path: apps/web/playwright-report
retention-days: 7
pnpm install --filter web... installiert nur die Web-App und ihre Abhängigkeiten, was die Installation jedes Shards kurz hält. Die Anzahl der Shards ist ein Kompromiss zwischen Laufzeit und dem festen Aufwand, den jeder Shard hat (Checkout, Installation, Browser). Der Planer für Test-Sharding schätzt das ab. Mit fullyParallel: true teilt Playwright auf Testebene auf, was die Shards besser ausbalanciert als eine Aufteilung nach Dateien.
Browser und Worker
- Playwright nutzt standardmäßig etwa die Hälfte der logischen CPU-Kerne als Worker. Die CLI-Hilfe sagt "default: 50%". Auf einem Runner mit 2 vCPU ist das ein Worker, auf 8 vCPU sind es vier. Erhöhen Sie den Wert mit
workersin der Konfiguration oder--workers=75%und vergleichen Sie Gesamtzeit und Fehler, denn Browser sind speicherintensiv, und zu viele Worker führen zu Timeouts. playwright install --with-deps chromiumlädt einen Browser. Die eigene Dokumentation von Playwright weist darauf hin, dass sich das Caching von Browser-Downloads oft kaum lohnt, da das Wiederherstellen eines großen Caches ebenso lange dauern kann wie der Download. Messen Sie, bevor Sie einen Cache hinzufügen. Playwright veröffentlicht außerdem Container-Images mit bereits installierten Browsern und Systembibliotheken; verwenden Sie das Image-Tag, das zur Playwright-Version in Ihrer Lockfile passt.
Was mehr CPU-Kerne bringen
Der Test-Job ist der Teil, der mit den Kernen skaliert, weil Worker Browser parallel betreiben. Build und Installation skalieren kaum. Eine größere Maschine hilft also den Shard-Jobs und wenig dem Job build. Mehr Shards auf kleinen Maschinen und weniger Shards auf großen sind zwei Wege, dieselbe Parallelität zu bezahlen, mit unterschiedlichen Kosten und unterschiedlichem Fixaufwand pro Shard. Vergleichen Sie die Gesamtkosten für Ihre Suite mit dem CI-Kostenrechner.
Um Ihre eigene Suite auszuprobieren, ändern Sie eine Zeile zu runs-on: [self-hosted, Linux, compiler-ci] oder nutzen Sie den Vergleichsmodus, der eine Kopie Ihrer Jobs neben Ihren aktuellen laufen lässt. Siehe Preise, Vergleich und unsere Benchmarks. Verwandt: Cypress-Tests sind langsam, instabile E2E-Tests und der Hub für langsame CI.
FAQ
Wie baue ich die App einmal und teile den Build zwischen Playwright-Shards?
Bauen Sie in einem Job, laden Sie die Ausgabe mit actions/upload-artifact hoch und laden Sie sie in jedem Shard-Job herunter, bevor Sie den Webserver mit webServer in der Playwright-Konfiguration starten.
Führt Playwright --only-changed Tests aus, die von Änderungen an der App betroffen sind?
Nein. Es wählt Testdateien aus, die sich zwischen HEAD und einem Ref geändert haben, sowie Testdateien, die eine geänderte Datei importieren. Anwendungscode, den Ihre Tests nur über den Browser erreichen, wird nicht erfasst. Wenn sich nur dieser Code ändert, können daher null Tests ausgewählt werden.
Wie überspringe ich E2E-Tests, wenn sich die Web-App nicht geändert hat?
Fügen Sie einen ersten Job hinzu, der prüft, welche Pfade sich geändert haben, etwa mit einer paths-filter-Action oder dem Selektor für geänderte Pakete von pnpm. Steuern Sie dann den Build- und Shard-Job über die Ausgabe dieses Jobs mit if:. Verwenden Sie den Trigger paths: auf Workflow-Ebene nicht, wenn die Prüfungen erforderlich sind.
Wie viele Playwright-Shards sollte ein Monorepo verwenden?
So viele, dass der langsamste Shard nicht viel länger dauert als der feste Aufwand für Checkout, Installation und Browser-Setup. Darüber hinaus verursachen weitere Shards nur höhere Kosten.
Verwandt
- TypeScript-Monorepo in GitHub Actions beschleunigenTypprüfung und Linting in TypeScript-Monorepos auf GitHub Actions beschleunigen: inkrementelles tsc, Projektreferenzen, Lint-Caches und parallele Jobs.
- CI-Geschwindigkeits-Badge in Ihre README einfügenZeigen Sie die Geschwindigkeit Ihrer CI mit einem README-Badge: die mediane Laufzeit Ihrer Repository-Workflows auf GitHub Actions, automatisch aktualisiert.
- Schnellste CI für Bazel-Monorepos mit GitHub ActionsSchnelle Bazel-CI auf GitHub Actions: Zieltyp-Ermittlung für betroffene Builds, Remote-Cache-Flags, schreibgeschützte PR-Uploads und Sharding.
- Schnellste CI für Nx-Monorepos mit GitHub ActionsMachen Sie Nx-CI auf GitHub Actions schnell. nx affected mit nx-set-shas, Nx-Remote-Cache, Task-Verteilung, fetch-depth und ein vollständiger Workflow.