CIにおけるテストシャーディングとは
最終更新
テストシャーディングとは、1つのテストスイートを複数のスライス(シャード)に分割し、それぞれを別々のCIマシンで並列に実行することで、スイート全体の完了までの時間を短縮する手法です。
仕組み
シャード数を選択します(例:4)。各ジョブにはそのインデックス(1から4)と総数が渡され、割り当てられたテストのみを実行します。すべてのシャードが成功すれば、スイートは成功となります。テストの大きさが均等であれば、経過時間はおおよそ4分の1になりますが、各シャードが毎回負担する固定のセットアップコスト(チェックアウト、インストール、ビルド)は差し引かれます。
多くのテストランナーがネイティブにこれをサポートしています。Playwrightには--shard=1/4、Jestには--shard=1/4、Vitestには--shard=1/4があり、pytestではマシン内並列化のためにpytest-splitやpytest-xdistなどのプラグインを使用します。シャードを起動する一般的な方法はマトリックスビルドです。
例
jobs:
test:
runs-on: ubuntu-latest
strategy:
fail-fast: false
matrix:
shard: [1, 2, 3, 4]
steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4
with:
node-version: 22
cache: npm
- run: npm ci
- run: npx playwright test --shard=${{ matrix.shard }}/4
分割戦略
- ファイル数による分割:単純ですが、遅いファイルがあると偏りが生じます。
- 過去の実行時間による分割:過去の実行時間を用いてシャードのバランスを取ります。最も良い結果が得られます。
- テスト数による分割:多くの組み込みの
--shardフラグがこの方式を採用しています。テストの実行時間が似ている場合に適しています。
テストシャード計算ツールで最適なシャード数を見積もり、GitHub Actionsにおけるテストシャーディングで詳しい手順をご確認ください。
よくある間違い
- シャードが多すぎる場合。セットアップのオーバーヘッドはシャードごとに発生します。ある点を超えると、シャードを増やしても時間は短縮されず、分数だけが増えてしまいます。
- データベースの状態の共有。1つのデータベースに対して並列実行されるシャードは互いに衝突します。各シャードに専用のデータベースまたはスキーマを割り当ててください。
- シャードの不均衡。1つの遅いシャードが全体の時間を決定します。シャードごとの実行時間を確認してください。
- 不安定性の隠蔽。並列実行によって実行順序への依存が表面化します。不安定なテストをご覧ください。
- レポートの未統合。各シャードは部分的なカバレッジやレポートを生成します。最後のジョブでそれらを統合してください。
シャーディングは、待ち時間を減らす代わりに、CI分の総量を増やすトレードオフです。より高速なマシンを使えば、シャードごとのコストも削減できます。compiler.devのベンチマークでは10シャードを使用しています。/benchmarksをご覧ください。
関連用語
よくある質問
シャードの数はいくつにすればよいですか?
各シャードの実行時間が2分から5分程度になる範囲から始めてください。それより短いと、セットアップのオーバーヘッドが支配的になります。
シャーディングは並列化と同じですか?
シャーディングはテストを複数のマシンに分散させます。1台のマシン内での並列化は、複数のワーカーやCPUを使用します。両方を併用することをおすすめします。
シャーディングでコストは削減されますか?
通常は削減されません。コンピュート時間の合計は同程度か、わずかに増加します。削減されるのは、開発者が待つ時間です。
関連記事
- テストのシャーディング: 意味、Jest、Gradle、Bazel などテストのシャーディングについて、その意味と、GitHub Actions で Jest、Playwright、Vitest、Gradle、Bazel、Flutter、dotnet、Android のテストをシャーディングする方法を解説します。
- 不安定なテストとは何か:定義と原因不安定なテストとは、コードに変更がないにもかかわらず、成功したり失敗したりするテストのことです。一般的な原因、CIでの検出方法、修正または隔離(クォランティン)の方法を解説します。
- CI分とは? GitHub Actionsの料金の仕組みCI分とは、パイプラインが使用する課金対象のコンピュート時間です。GitHub Actionsでの分の数え方、切り上げと乗数、そして使用量を減らす方法を説明します。
- GitHub Actionsのキャッシュキーとは?キャッシュキーとは、GitHub Actionsで保存されたキャッシュを識別する文字列です。キーとrestore-keysの仕組みを理解し、古いキャッシュを避ける方法を学びましょう。