不安定なE2Eテスト: 原因と持続する修正方法
最終更新
不安定なE2Eテストは、同じコードでも成功したり失敗したりします。E2Eテストは数分かかり、ブラウザ、ネットワーク、サーバー、データベース、テストデータのすべてに関わるため、不安定なユニットテストよりも厄介です。本ガイドはブラウザやシステムレベルのテストスイートに特化しています。失敗の大半を説明する4つの原因(待機、分離、データベースの状態、環境)を取り上げ、そのうえで本当のバグを隠さずにリトライと隔離を使う方法を解説します。不安定なテストを計測・追跡する一般的な方法については不安定なテストのガイドを、高速化については遅いE2Eテストをご覧ください。
不安定なE2EテストがCIを遅くする理由
5パーセントの確率で失敗するテストは、再実行を強いられます。スイートの実行に20分かかり、そのようなテストが30個あれば、多くのプルリクエストで少なくとも1回は再実行が必要になり、誰かが気づくまでの待ち時間を含めると、実効的なCI時間は30分に近づきます。不安定さは信頼性の問題であると同時に速度の問題でもあります。遅いCIのハブをご覧ください。
原因1:タイミングと待機
最も多い原因です。アプリの準備が整う前にテストが操作を行うか、時には短すぎる固定時間だけ待機しています。
sleepや固定のタイムアウトを、自動待機するアサーションに置き換えてください。要素が表示されて有効になるまで、URLが変わるまで、あるいは特定のネットワークレスポンスが返るまで待機します。- アニメーションやトランジションの途中でアサーションを行わないでください。テストモードではアニメーションを無効にします。
- 次の操作が依存するもの(テーブルにデータを入れるリクエストなど)を待ってください。スピナーが消えるのを待つのではありません。
- 位置や変化するテキストで要素を選択しないでください。安定したテストIDやロールを使います。
// flaky: fixed wait
await page.waitForTimeout(2000);
await page.click("#save");
// stable: wait for the condition
const save = page.getByRole("button", { name: "Save" });
await expect(save).toBeEnabled();
await save.click();
await expect(page.getByText("Saved")).toBeVisible();
CPUが不足したランナーでは、タイミングのバグが表面化します。複数のブラウザを動かす2 vCPUのランナーでは、ページの読み込みが遅くなってタイムアウトを超えることがあります。CIで失敗が集中し、ワーカー数を減らしたローカルでは消えるなら、テストを疑う前にCPUを確認してください。
原因2:テストの分離
実行順序や前のテストが残した状態に依存するテストは、特に並列実行やシャード実行の際に、スケジューリングによって成功したり失敗したりします。
- 各テストは必要なデータを自分で作成し、ランダムなサフィックスやテストIDを付けて一意な名前にします。システムが空であることを前提にしないでください。
- アカウントの状態を変更する場合は、各テストが自分専用のユーザーとしてログインするようにします。
- テストの間にブラウザの状態をリセットします。新しいコンテキストを使い、ストレージを消去し、タブを共有しないでください。
- スイートをランダムな順序かつ並列で、少なくとも1日1回は実行してください。隠れた依存関係は素早く表面化します。
- あるテストのクリーンアップが、次のテストの成功に必要になってはいけません。
原因3:データベースと共有状態
共有データベースは、待機に次いで多い原因です。
- 1つのデータベースを並列ワーカーが使うと、一意制約や件数で衝突します。ワーカーごとに個別のスキーマやデータベース、あるいは個別のテナントを割り当ててください。
- 失敗したテストが残した行は、後続の実行を失敗させます。トランザクション内でシードしてロールバックするか、CIで実行ごとにデータベースをリセットしてください。
- 全体の件数に対するアサーション(「注文は3件ある」など)は、他の何かが注文を作成すると壊れます。テストが作成したレコードに対してアサーションしてください。
- 時刻に依存するデータ(「今日作成された」など)は、UTCの深夜0時で壊れます。テスト対象のアプリでは時計を固定するか、注入してください。
- 外部サービス(メール、決済のサンドボックス、サードパーティAPI)にはレート制限や障害があります。ほとんどのテストではネットワークの境界でスタブ化し、PRの経路外で少数の実環境による契約チェックを行ってください。
データはUIではなく、APIやデータベース経由で作成してください。速度が上がり、セットアップの手順からUIの不安定さを取り除けます。
原因4:環境とインフラ
- アプリサーバーとテストランナーの起動競合です。実行前にヘルスチェックのURLを待ってください。
- ブラウザ、ドライバー、OSのバージョンのずれです。バージョンを固定するか、コンテナイメージを使ってください。
- 小型ランナーでのメモリ不足です。ブラウザのクラッシュやメモリ不足によるプロセス終了がないか確認してください。
- ダウンロード時のネットワークの不安定さです。依存関係をキャッシュし、レジストリをミラーリングしてください(キャッシュのガイド)。
リトライは慎重に使う
リトライは根本的な解決策ではなく、安全網です。うまく機能するルールは次のとおりです。
- リトライはCIでのみ1〜2回まで許可し、ローカルでは行わないでください。開発者が実際の失敗を確認できるようにするためです。
- リトライ後に成功したテストは、成功ではなく不安定として報告してください。Playwrightはそのようなテストをレポートで不安定と表示します。Cypressなどにも同等の機能やプラグインがあります。
- テストごとに不安定さの回数を追跡してください。今週3回リトライが必要だったテストには、担当者が必要です。
- 最初のリトライ時に証拠を取得してください。トレース、動画、スクリーンショット、コンソールとサーバーのログを保存します。
// playwright.config.ts
retries: process.env.CI ? 1 : 0,
use: { trace: "on-first-retry", screenshot: "only-on-failure" },
カバレッジを失わずに隔離する
テストが不安定で、今日中に修正できない場合:
- マージをブロックしないが実行は継続する隔離グループに移動してください(タグの付与、
continue-on-errorを使った別ジョブ、または別プロジェクトのいずれか)。 - 担当者と期限を明記したIssueを作成し、テストコードからそのIssueへのリンクを記載してください。
- 隔離リストは毎週見直してください。各テストは修正、削除、または通常グループへの昇格のいずれかを行ってください。隔離リストが増え続けるだけであれば、実質的にテストスイートを削除しているのと同じです。
テストを単にスキップ指定にしないでください。スキップされたテストは表示されなくなり、問題が見えなくなります。
新たな不安定テストを防ぐ
- 明らかな不安定さを検出するため、マージ前にCIで新しいテストを20〜50回実行してください。
sleepや固定待機を検出するLintを実行してください。- E2Eテストは数を絞り、重要な操作フローに集中させてください(ユニットテストとE2Eテストの違い)。テストが少ないほど、不安定になる機会も減ります。
- 実行環境に十分なCPUを割り当ててください。ランナーがボトルネックになっている場合は、より高速なGitHub Actionsランナーで選択肢を比較できます。compiler.devは、測定した18のスタックにおいて、GitHubの2コアランナーと比べて中央値で1.5倍高速でした(高速15件、同等2件、低速1件)。比較モードでは、お使いのジョブを直接計測できます。CPUを増やすとタイミング起因の不安定さは減りますが、競合状態そのものは解消されません。
フレームワーク別の対策: Playwrightのテストが遅い場合、Cypressのテストが遅い場合。
よくある質問
E2Eテストが不安定になる原因は何ですか?
主な原因は、不適切な待機処理、共有データや残存データ、テスト同士の実行順序への依存、そしてリソースが不足したCI環境です。
不安定なE2Eテストはリトライすべきですか?
CIでは1〜2回までリトライしてもかまいませんが、リトライされた各実行は不安定さの発生として記録し、テストを修正してください。リトライ後に成功したものを正常な結果として扱わないでください。
不安定なE2Eテストはどのように見つけられますか?
変更のないコードでスイートを再実行するか、同じコミットで成功と失敗の両方を記録したテストをCIの履歴から分析してください。テストレポートには、リトライ後に成功したケースも報告してください。
不安定なテストは削除したほうがよいですか?
場合によります。テストが重要度の低い経路を対象としている場合や、同じ振る舞いがテストピラミッドのより下位で検証されている場合は、ノイズを抱え続けるより削除するほうが適切です。
関連記事
- Cypressのテストが遅い?Cypressを高速化する方法CIでCypressのテストが遅いですか?cy.session、インターセプト、固定待機の廃止でCypressを高速化する方法と、GitHub ActionsでのCypress並列テストを解説します。
- CIでPlaywrightのテストが遅い?ワーカーとシャーディングで解決CIでPlaywrightのテストが遅いですか?ワーカー数の増加、storageStateの再利用、ブラウザのキャッシュ、--shardによるテストのシャーディングで高速化できます。Pythonにも対応しています。
- Pytestの遅いテスト:発見、マーク、スキップ、高速化(xdist)Pytestの遅いテストは、--durationsで見つけ、既定でマークしてスキップし、pytest-xdistとCIジョブ間でのスイート分割によって高速化します。
- 遅いE2Eテスト:遅くなる原因と対処法E2Eテストや統合テストが遅い原因は、多くの場合、セットアップ、固定の待機時間、直列実行にあります。原因の特定方法と、CIでテストを高速化する方法を解説します。