GitHub ActionsでモノレポのPlaywrightを高速化する
最終更新
モノレポでは、単一アプリのプロジェクトにはない理由で Playwright が遅くなります。各シャードがアプリを毎回ビルドし、Web アプリに変更がないプルリクエストでも E2E が実行され、各ジョブがテストを実行する前にブラウザをインストールします。高速化するには、ビルドを一度だけ行って成果物を共有し、Web アプリまたはその依存先が変更された場合にのみ E2E を実行し、テストをシャードに分割してレポートをマージします。
このガイドはモノレポ構成について説明します。テストレベルの基本(ワーカー、storageState、適切な対象を待つこと)については、まずPlaywright のテストが遅いをお読みください。シャーディングの仕組み自体については、GitHub Actions でのテストシャーディングを参照してください。
ビルドは一度、テストはそのビルドで
Playwright ワークフローの最初の一般的な版では、テストを4つのジョブに分割し、各ジョブで依存関係をインストールしてからアプリをビルドして起動します。同じコミットに対してビルドが4回実行されてしまいます。ビルドは1つのジョブで行い、その出力をシャードに渡してください:
jobs:
build:
runs-on: [self-hosted, Linux, compiler-ci] # or ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: pnpm/action-setup@v6
- uses: actions/setup-node@v7
with:
node-version: 22
cache: pnpm
- run: pnpm install --frozen-lockfile
- run: pnpm --filter web... build
- uses: actions/upload-artifact@v4
with:
name: web-build
path: apps/web/dist
retention-days: 1
pnpm --filter web... build は、web アプリとそれが依存するワークスペースパッケージのみをビルドします。名前の後ろの ... は「このパッケージとその依存関係」を意味します。各シャードは、そのビルドをダウンロードして配信します:
// apps/web/playwright.config.ts
import { defineConfig } from "@playwright/test";
export default defineConfig({
fullyParallel: true,
reporter: process.env.CI ? [["blob"], ["list"]] : "list",
webServer: {
command: "pnpm exec vite preview --port 4173 --strictPort",
url: "http://localhost:4173",
reuseExistingServer: !process.env.CI,
},
});
開発サーバーではなく、本番ビルドを配信してください。開発サーバーはテストが待っている間もオンデマンドでファイルをコンパイルします。フレームワークに応じた同等のコマンドを使用してください。例えば Next.js では next start です。成果物にはアップロードとダウンロードのコストがかかるため、ビルドにかかる時間がそれより長い場合に効果があります。先週のビルドは誰も必要としないので、retention-days は短く設定してください。
Web アプリが変更された場合にのみ E2E を実行
モノレポでは、ほとんどのプルリクエストが E2E スイートでカバーされていないリポジトリの部分に触れます。最初の小さなジョブで、スイートを実行する必要があるかどうかを判断してください:
changes:
runs-on: ubuntu-latest
outputs:
web: ${{ steps.filter.outputs.web }}
steps:
- uses: actions/checkout@v6
- uses: dorny/paths-filter@v3
id: filter
with:
filters: |
web:
- 'apps/web/**'
- 'packages/ui/**'
- 'packages/api-client/**'
- 'pnpm-lock.yaml'
そして if: needs.changes.outputs.web == 'true' でビルドとシャードをその結果に依存させます。パスリストの弱点は、手作業で管理しなければならない点です。apps/web が新しいパッケージへの依存を持つようになったとき、誰かがそれを追加しなければなりません。パッケージが依存関係を適切に宣言しているなら、pnpm ワークスペースで最速の CIで説明しているように、pnpm に判定を任せてください。いずれの場合も、main へのプッシュでは E2E スイート全体を実行し、プルリクエストでの実行スキップによって不具合が長く隠れないようにしてください。
フィルターはワークフローの paths: トリガーではなく、ジョブとしてワークフロー内に置いてください。GitHub のドキュメントによると、ワークフロー全体がパスフィルターでスキップされた場合、そのワークフローが報告するはずだったチェックは保留のままになり、それを必須としているプルリクエストはマージできなくなります。if: によってスキップされたジョブは成功として報告されます。
--only-changed は代わりにはなりません
Playwright には --only-changed があります。そのヘルプテキストによると、HEAD と指定した ref の間で変更されたテストファイルのみを実行し、Git が必要だとされています:
npx playwright test --only-changed=origin/main
Playwright 1.63 を使った小さなプロジェクトで試しました。テストファイル自体が変更された場合、またはそのテストファイルがインポートしているファイルが変更された場合に、そのテストファイルを選択します。アプリケーションのことは分かりません。テストファイルからインポートされていない app/page.ts を変更したプルリクエストでは、選択されるテストはゼロでした。E2E テストはブラウザを通じてアプリを操作するため、アプリケーションの変更のほとんどはこのように見えます。--only-changed は、テストを作成中の素早いフィードバックや、スペックとテストヘルパーのみを編集するプルリクエストに使ってください。安全網としては使わないでください。これを使うには、クローンにベースブランチが必要なので、fetch-depth: 0 を指定してチェックアウトしてください。
シャーディングとマージ
ビルドが成果物として利用可能になれば、シャードのジョブはインストール、ダウンロード、テストだけを行います:
e2e:
needs: build
runs-on: [self-hosted, Linux, compiler-ci]
strategy:
fail-fast: false
matrix:
shard: [1, 2, 3, 4]
steps:
- uses: actions/checkout@v6
- uses: pnpm/action-setup@v6
- uses: actions/setup-node@v7
with:
node-version: 22
cache: pnpm
- run: pnpm install --frozen-lockfile --filter web...
- uses: actions/download-artifact@v4
with:
name: web-build
path: apps/web/dist
- run: pnpm --filter web exec playwright install --with-deps chromium
- run: pnpm --filter web exec playwright test --shard=${{ matrix.shard }}/4
- uses: actions/upload-artifact@v4
if: ${{ !cancelled() }}
with:
name: blob-report-${{ matrix.shard }}
path: apps/web/blob-report
retention-days: 1
report:
needs: e2e
if: ${{ !cancelled() }}
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v6
- uses: pnpm/action-setup@v6
- uses: actions/setup-node@v7
with:
node-version: 22
cache: pnpm
- run: pnpm install --frozen-lockfile --filter web...
- uses: actions/download-artifact@v4
with:
pattern: blob-report-*
path: all-blob-reports
merge-multiple: true
- run: pnpm --filter web exec playwright merge-reports --reporter html ../../all-blob-reports
- uses: actions/upload-artifact@v4
with:
name: playwright-report
path: apps/web/playwright-report
retention-days: 7
pnpm install --filter web... は、Web アプリとその依存先のみをインストールするため、各シャードのインストールを短く保てます。シャード数は、全体の所要時間と、すべてのシャードが負担する固定コスト(チェックアウト、インストール、ブラウザ)とのトレードオフです。テストシャーディングプランナーがその見積もりを出します。fullyParallel: true を指定すると、Playwright はテスト単位で分割するため、ファイル単位で分割するよりシャード間の負荷が均等になります。
ブラウザとワーカー
- Playwright はデフォルトで、論理 CPU コア数のおよそ半分をワーカーとして実行します。CLI のヘルプには「default: 50%」と記載されています。2 vCPU のランナーでは 1 ワーカー、8 vCPU では 4 ワーカーになります。設定ファイルの
workersまたは--workers=75%で増やせますが、ブラウザは負荷が重く、ワーカーを増やしすぎるとタイムアウトの原因になるため、総時間と失敗数を比較してください。 playwright install --with-deps chromiumは、ブラウザを 1 つ取得します。Playwright 自身のドキュメントでは、大きなキャッシュの復元にダウンロードと同程度の時間がかかることがあるため、ブラウザのダウンロードをキャッシュしても効果は小さいことが多いと説明されています。キャッシュを追加する前に計測してください。Playwright は、ブラウザとシステムライブラリがあらかじめインストールされたコンテナイメージも公開しています。ロックファイルにある Playwright のバージョンに合ったイメージタグを使用してください。
CPU コア数を増やす効果
テストジョブは、ワーカーがブラウザを並行して動かすため、コア数に応じて拡張される部分です。ビルドやインストールはあまり拡張されません。そのため、大きなマシンはシャードのジョブには効果がありますが、build にはほとんど効果がありません。小さなマシンで多くのシャードを動かすことと、大きなマシンで少ないシャードを動かすことは、同じ並列性を得るための 2 つの方法であり、料金と各シャードの固定コストが異なります。自分のスイートの合計をCI コスト計算ツールで比較してください。
自分のスイートで試すには、1 行を runs-on: [self-hosted, Linux, compiler-ci] に変更するか、現在のジョブの隣でそのコピーを実行する比較モードを使用してください。料金、比較、そしてベンチマークをご覧ください。関連記事: Cypress のテストが遅い、不安定な E2E テスト、遅い CI のハブ。
よくある質問
アプリを一度ビルドして Playwright のシャード間で共有するには、どうすればよいですか?
1 つのジョブでビルドし、その出力を actions/upload-artifact でアップロードします。各シャードのジョブでは、Playwright の設定の webServer で Web サーバーを起動する前に、それをダウンロードしてください。
Playwright の --only-changed は、アプリの変更の影響を受けるテストを実行しますか?
いいえ。HEAD と比較対象のリファレンスの間で変更されたテストファイルと、変更されたファイルをインポートしているテストファイルを選択します。テストがブラウザ経由でのみ到達するアプリケーションコードは追跡されないため、そのコードだけを変更しても、選択されるテストは0件になる場合があります。
Webアプリに変更がないときにE2Eテストをスキップするにはどうすればよいですか?
パスの変更を確認する最初のジョブを追加してください。paths フィルターアクションまたは pnpm の変更パッケージセレクターを使い、その出力に基づいて if: でビルドジョブとシャードジョブの実行を制御します。チェックが必須の場合は、ワークフローレベルの paths: トリガーは使用しないでください。
モノレポではPlaywrightのシャードを何個にすべきですか?
最も遅いシャードが、チェックアウト、インストール、ブラウザーのセットアップという固定コストとあまり変わらない程度の数にしてください。それを超えてシャードを増やしても、コストが増えるだけです。
関連記事
- GitHub ActionsでTypeScriptモノレポを高速化するGitHub Actionsで TypeScriptモノレポの型チェックとリンターを高速化する: インクリメンタルtsc、プロジェクト参照、Lintキャッシュ、並列ジョブ
- READMEにCIの速度バッジを追加するREADME のバッジで CI の速さを表示しましょう。リポジトリの GitHub Actions 実行時間の中央値が自動で更新されます。公開リポジトリは無料です。
- GitHub ActionsでBazelモノレポを最速でCIするGitHub Actions での高速な Bazel CI。影響を受けるビルドのためのターゲット判定、リモートキャッシュのフラグ、PR からの読み取り専用アップロード、シャーディング、完全なワークフローを紹介します。
- GitHub ActionsでNxモノレポを最速でCIするGitHub Actions で Nx の CI を高速化。nx-set-shas を使った nx affected、Nx リモートキャッシュ、タスク分散、fetch-depth、完全なワークフローを紹介します。