コンテンツへスキップ

CIにおけるテストシャーディングとは

最終更新

テストシャーディングとは、1つのテストスイートを複数のスライス(シャード)に分割し、それぞれを別々のCIマシンで並列に実行することで、スイート全体の完了までの時間を短縮する手法です。

仕組み

シャード数を選択します(例:4)。各ジョブにはそのインデックス(1から4)と総数が渡され、割り当てられたテストのみを実行します。すべてのシャードが成功すれば、スイートは成功となります。テストの大きさが均等であれば、経過時間はおおよそ4分の1になりますが、各シャードが毎回負担する固定のセットアップコスト(チェックアウト、インストール、ビルド)は差し引かれます。

多くのテストランナーがネイティブにこれをサポートしています。Playwrightには--shard=1/4、Jestには--shard=1/4、Vitestには--shard=1/4があり、pytestではマシン内並列化のためにpytest-splitやpytest-xdistなどのプラグインを使用します。シャードを起動する一般的な方法はマトリックスビルドです。

例

jobs:
  test:
    runs-on: ubuntu-latest
    strategy:
      fail-fast: false
      matrix:
        shard: [1, 2, 3, 4]
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: 22
          cache: npm
      - run: npm ci
      - run: npx playwright test --shard=${{ matrix.shard }}/4

分割戦略

  • ファイル数による分割:単純ですが、遅いファイルがあると偏りが生じます。
  • 過去の実行時間による分割:過去の実行時間を用いてシャードのバランスを取ります。最も良い結果が得られます。
  • テスト数による分割:多くの組み込みの--shardフラグがこの方式を採用しています。テストの実行時間が似ている場合に適しています。

テストシャード計算ツールで最適なシャード数を見積もり、GitHub Actionsにおけるテストシャーディングで詳しい手順をご確認ください。

よくある間違い

  • シャードが多すぎる場合。セットアップのオーバーヘッドはシャードごとに発生します。ある点を超えると、シャードを増やしても時間は短縮されず、分数だけが増えてしまいます。
  • データベースの状態の共有。1つのデータベースに対して並列実行されるシャードは互いに衝突します。各シャードに専用のデータベースまたはスキーマを割り当ててください。
  • シャードの不均衡。1つの遅いシャードが全体の時間を決定します。シャードごとの実行時間を確認してください。
  • 不安定性の隠蔽。並列実行によって実行順序への依存が表面化します。不安定なテストをご覧ください。
  • レポートの未統合。各シャードは部分的なカバレッジやレポートを生成します。最後のジョブでそれらを統合してください。

シャーディングは、待ち時間を減らす代わりに、CI分の総量を増やすトレードオフです。より高速なマシンを使えば、シャードごとのコストも削減できます。compiler.devのベンチマークでは10シャードを使用しています。/benchmarksをご覧ください。

よくある質問

シャードの数はいくつにすればよいですか?

各シャードの実行時間が2分から5分程度になる範囲から始めてください。それより短いと、セットアップのオーバーヘッドが支配的になります。

シャーディングは並列化と同じですか?

シャーディングはテストを複数のマシンに分散させます。1台のマシン内での並列化は、複数のワーカーやCPUを使用します。両方を併用することをおすすめします。

シャーディングでコストは削減されますか?

通常は削減されません。コンピュート時間の合計は同程度か、わずかに増加します。削減されるのは、開発者が待つ時間です。