遅いE2Eテスト:遅くなる原因と対処法
最終更新
遅いe2eテストは、プルリクエストのチェックが緑になるまでに30分かかる最も一般的な原因です。e2eテストが遅い場合、統合テストや全般的なテストも遅くなっていることが多いでしょう。原因は互いに重なっているためです。本ガイドはこのトピックの起点となるページです。時間がどこで消費されているかを特定する方法を示し、各フレームワークごとの対処方法へのリンクをまとめています。
e2eテストが遅くなる理由
エンドツーエンドテストは、実際のアプリに対して実際のブラウザを操作するため、単体テストでは発生しない処理のコストが毎回かかります。時間は一般的に次の処理に費やされます。
- 起動処理: アプリケーションサーバー、データベース、ブラウザの起動やログインです。これをテストごとに行うと、全体の時間の大部分を占めます。
- 固定待機: イベントを待てばよい箇所で
sleep(5000)やwaitForTimeoutを使うケースです。ページが200ミリ秒で準備できていても、実行のたびに毎回その時間がかかります。 - 直列実行: 2 vCPUのランナーでワーカーが1つだけ動いているため、テストが互いに順番待ちになります。
- リトライ: 不安定なテストが再実行されると、そのテストのコストは2倍になります。不安定なe2eテストを参照してください。
- e2eテストが多すぎる: 単体テストや統合テストで済む確認を、UIを通して実行しているケースです。単体テストとe2eテストの違いを参照してください。
- キャッシュがないCI: 実行のたびにブラウザのダウンロード、依存関係のインストール、イメージのプルが発生します。
手順1: 実行全体ではなくテストごとに計測する
どのフレームワークも、テストごとの所要時間を出力できます。降順に並べて上位20件を確認してください。通常、テストの20%が全体時間の60%を占めています。
npx playwright test --reporter=list,json # durations in the JSON output
npx jest --verbose # per-test times
npx vitest run --reporter=verbose
pytest --durations=20
テスト以外の時間も記録してください。チェックアウト、インストール、ブラウザのインストール、サーバーの起動などです。それがジョブ全体の20%を超える場合は、テストに手を入れる前にキャッシュでセットアップを先に改善してください。
手順2: 固定待機とセットアップの共通コストを減らす
sleepは条件ベースの待機に置き換えてください。自動待機するロケーター、expect(...).toBeVisible()、特定のリクエストに対するネットワークのアイドル待ちなどが有効です。ログインは一度だけ行い、セッションを再利用してください。すべてのテストでUIを通してログインする必要はありません。データはクリック操作ではなく、APIやデータベース経由で投入してください。各ツールの詳細は次のとおりです。
- Playwrightのテストが遅い:
storageState、ワーカー、--shard - Cypressのテストが遅い:
cy.session、並列実行 - Pytestのテストが遅い: マーカー、xdist、分割
手順3: 並列実行する
並列化には2種類あり、組み合わせて使います。
- 1つのジョブ内のワーカー。 ランナーのコア数が上限になります。2 vCPUのマシンでは、ブラウザのワーカーは多くても2つか3つです。
- ジョブをまたぐシャード。 各シャードが独自のランナーで動くため、シャード数に概ね比例して全体の経過時間が短くなります。テストシャーディングのガイドにはマトリックスの例があり、テストシャーディングのプランナーでは目標時間とコストからシャード数を見積もれます。
strategy:
fail-fast: false
matrix:
shard: [1, 2, 3, 4]
steps:
- run: npx playwright test --shard=${{ matrix.shard }}/4
並列実行にはテストの分離が必要です。ワーカーごとにデータを分け、可変の共有状態を持たず、アカウントやテナントは一意にしてください。並列化によってテストが失敗する場合は、テストに隠れた依存関係があることを示しています。それを把握しておくことには価値があります。
手順4: 遅い単体テストと統合テスト
遅いテストスイートがすべてブラウザ駆動とは限りません。JavaScriptやPythonの遅い統合テストや単体テストには、次の方法が有効です。
- Jestが遅い: トランスフォーム、ワーカー、
--shard - Vitestが遅い: 分離、プール、インポート時間
- Pytestのテストが遅い:
-n auto、--durations、マーカー
統合テストが遅くなる原因の多くは、テストごとにデータベーススキーマを作成していることです。スキーマはワーカーごとに一度だけ作成し、各テストをトランザクションで囲んでロールバックしてください。ファイルごとのテーブル切り詰めは、どうしても必要な場合にのみ行いましょう。
手順5: 作業により多くのCPUを割り当てる
ブラウザテストはCPUを多く消費します。ワーカーが2コアのマシンで順番待ちになっている場合は、より大きなランナーを使うのが最も安価な対策になることがあります。分あたりの料金はコア数にほぼ比例して上がりますが、実行時間はそれ以上に短くなるためです。より高速なGitHub Actionsランナーのガイドで選択肢を比較しています。compiler.devもその一つです。18の計測対象スタックで、GitHubの2コアランナーより中央値で1.5倍高速でした(15件で高速、2件で同等、1件で低速)。Linux 8 vCPUは1分あたり$0.008です。比較モードでは、本番導入前に自分のジョブを計測できます。ただし、外部サービスに依存して時間がかかるテストスイートは速くならないため、自分のスイートで結果を確認してください。
手順6: PRをブロックすべきものを決める
すべてのe2eテストを、すべてのプッシュで実行する必要はありません。PRでは小規模なスモークセット(5〜10分)を実行し、フルスイートはmainへのマージ時またはスケジュール実行で動かしてください。最終的なゲートにはマージキューを使うとよいでしょう。パイプラインの残りの部分については遅いCIのハブを参照してください。
簡易チェックリスト
- テストごとの所要時間を記録し、上位20件を確認している
- 固定のsleepがない。ログインは一度だけ行い、再利用している
- データはAPIまたはデータベース経由で投入している
- ブラウザと依存関係をキャッシュし、必要なブラウザだけをインストールしている
- ワーカー数をコア数に合わせ、シャード数はプランナーで選んでいる
- リトライは1回または2回までに制限し、不安定なテストの一覧を毎週確認している
- PRではスモークセットを実行し、マージ後にフルスイートを実行している
よくある質問
ローカルでは速いのに、CIでE2Eテストが遅いのはなぜですか?
CIランナーは通常、コア数が少なく、キャッシュがコールドで、ブラウザやサーバーが事前に起動していません。ノートPCには高速なコアが8〜16個あることも珍しくありません。同じワーカー数で実行し、セットアップ時間は別途計測してください。
E2Eテストはどのくらい用意すべきですか?
重要なユーザーの操作フローを中心に、少数に絞ることをおすすめします。ビジネスルールは、高速で正確に検証できるユニットテストや結合テストで確認してください。テストピラミッドについてはユニットテストとE2Eテストの比較ガイドで説明しています。
遅いテストはリトライすべきですか?
リトライは不安定さ(フレーク)を隠してしまい、実行時間も増えます。CIでは1〜2回までのリトライを許可し、リトライが発生した事例はフレークとして記録して、リトライが必要なテストを修正してください。
シャーディングを使えば遅いテストのコストは下がりますか?
いいえ、かかる時間(実時間)は短くなりますが、課金対象の分数はわずかに増えます。各シャードでセットアップが繰り返されるためです。セットアップをキャッシュして、追加コストを小さく抑えてください。
関連記事
- CIでDockerビルドが遅い?原因を特定して解決CIでDockerビルドが遅いですか?ビルドコンテキストのサイズ、.dockerignore、レイヤーの順序、キャッシュミス、BuildKitの設定を診断し、最も影響の大きい問題から修正しましょう。
- Cypressのテストが遅い?Cypressを高速化する方法CIでCypressのテストが遅いですか?cy.session、インターセプト、固定待機の廃止でCypressを高速化する方法と、GitHub ActionsでのCypress並列テストを解説します。
- 不安定なE2Eテスト: 原因と持続する修正方法不安定なe2eテストと不安定なエンドツーエンドテスト: 不適切な待機、テストの独立性、共有データベースの状態を修正し、バグを隠さずに再試行と隔離を使ってください。
- Jestが遅い? Jestテストを高速化する:ワーカーと--shardJestテストが遅いですか? 高速なTypeScript変換、適切なワーカー数、CIでの--shardの利用で高速化できます。まず最も遅いテストを特定してください。設定例も掲載しています。