CIで不安定なテストを見つけ、修正し、影響を抑える方法
最終更新日
フレイキーテストとは、同じコードでも成功したり失敗したりするテストのことです。こうしたテストがあると、開発者は赤いビルドを「再実行」で済ませるようになり、その結果として本物の失敗が見逃されてマージされてしまいます。さらに、再実行のたびに料金が発生するため、コストの面でも負担になります。本ガイドでは、フレイクの測定方法、開発を妨げないための封じ込め方法、そしてよくある原因の修正方法を説明します。
発生頻度
Googleのテストチームは2016年に、テストのほぼ16パーセントに何らかのフレイキーさがあり、全テスト実行の約1.5パーセントがフレイキーな結果を報告していたと発表しました。詳細は、同社のエンジニアリングブログの記事「Flaky Tests at Google and How We Mitigate Them」にまとめられています。数値はプロジェクトによって異なりますが、大規模なテストスイートではある程度のフレイキーさが当たり前に存在するという点は共通しています。根性で対処するのではなく、プロセスとして管理する必要があります。
コストは簡単に計算できます。PRの実行の10パーセントがフレイキーな理由で失敗し、それぞれが15分・2コアのLinuxジョブを1回再実行させるとすると、PRあたり平均で約1.5分の追加時間が発生し、料金は1分あたり$0.006になります。ここでの金額は小さいものの、開発者の待ち時間や信頼の低下、コンテキストスイッチの方が実際には大きな損失です。待ち時間を数値化するには、CI遅延のコスト計算ツールをご利用ください。
ステップ1:フレイク率を測定する
数えられないものは管理できません。フレイキーな失敗は、同じコミットのリトライで成功したテストと定義します。次の項目を追跡してください。
- テストごとのフレイク率(フレイキーな失敗の数を実行回数で割った値)
- 再実行が必要だったワークフロー実行の割合
- 再実行によって失われた時間
データはテストレポートから取得します。各実行のJUnit XMLをアップロードし、テスト名とコミットSHAをキーにして結果を簡単な表に保存してください。まだツールがない場合は、gh run listを週次で実行し、最終的に成功したrun_attempt > 1の実行を抽出するスクリプトで最初の推定値を得られます。
gh run list --workflow ci.yml --limit 200 --json databaseId,attempt,conclusion \
--jq '[.[] | select(.attempt > 1 and .conclusion == "success")] | length'
ステップ2:意図的にフレイクを検出する
ランダムな失敗を待つのではなく、疑わしいテストを定期ジョブで何度も再実行します。
on:
schedule:
- cron: "0 3 * * *"
jobs:
flake-hunt:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- run: go test ./... -count=20 -shuffle=on
同等の方法としては、pytest-repeatを使ったpytest --count=20、順序をシャッフルするpytest -p randomly、jest --runInBandと繰り返し実行の組み合わせ、Playwrightの--repeat-each=10などがあります。テストの順序をシャッフルすることと、並列実行することは、隠れた依存関係を明らかにする最も速い方法です。
テストを追加または変更するプルリクエストでは、マージ前に、変更したテストだけを20〜50回繰り返し実行してください。
ステップ3:無差別なリトライではなく、隔離で封じ込める
リトライは魅力的ですが危険です。ジョブ全体を「3回まで再試行」するような設定は、プロダクションコードの競合状態などの本物の断続的なバグを隠してしまい、さらに全体を遅くします。次の方法を順に検討してください。
- 既知のフレイキーなテストを隔離します。タグを付け(
@flaky、pytest.mark.flaky、環境変数の背後でのt.Skipなど)、ブロッキングしない別ジョブで実行します。データは引き続き収集されますが、マージを妨げることはありません。 - 特定のテストに限定したリトライを、記録付きで行います。例としては、
pytest --reruns 2 --only-rerun ConnectionError、設定での Playwright のretries: 2(リトライで成功したテストをレポート上で「flaky」と表示します)、Jest のjest.retryTimes(2)があります。 - 隔離したテストごとに、担当者と期限を設定したチケットを作成してください。担当者のいない隔離は、実質的に削除と同じです。CODEOWNERSを使用して、チケットを担当チームに振り分けてください。
隔離リストが一定の数を超えたらビルドを失敗させ、週次でレビューします。
ステップ4:よくある原因を修正する
ほとんどのフレイクは、次の短いリストのいずれかに当てはまります。
| 原因 | 症状 | 対処 |
|---|---|---|
| 対処 | 深夜、夏時間の切り替え時、月末に失敗する | 時刻を注入し、テストでは時間を固定する |
| 非同期の待機 | sleep(1)やタイミングに依存したアサーション | 条件やイベントを待機し、タイムアウトを設定する |
| 共有状態 | 単独では成功するが、スイート内で失敗する | テストごとにデータを分離し、データベースやグローバル変数をリセットする |
| テストの順序 | シャッフルすると失敗する | テスト間の依存関係を取り除く |
| ポートとファイル | "address already in use" | エフェメラルポートと一時ディレクトリを使用する |
| 外部サービス | ネットワークエラー | フェイクまたは記録済みのレスポンスを使用し、実サービスに対するテストは別のジョブに分けてください |
| リソース制限 | ローカルでは成功するが、2コアのCIでは失敗する | 並列実行数を下げるか、より大きなランナーを使用してください |
| ランダム性 | シードに依存する | シードを記録し、失敗時には再現のために固定してください |
| UIのタイミング | 要素がまだ表示されていない | フレームワークの自動待機機能とWebファーストのアサーションを使用してください |
失敗を再現できるように、実行のたびにシードとテストの実行順序を記録してください。失敗したテストについては、スクリーンショット、トレース、サーバーログなどの成果物を保持してください(if: failure())。
ステップ5: 再現
CIの条件でフレーキーテストを再現するには、同じ種類のランナー上で、同じコンテナ内のループで実行してください:
for i in $(seq 1 100); do pytest tests/test_checkout.py -x -q || break; done
負荷がかかった場合にのみ失敗する場合は、CPUストレスと並行して実行するか、コンテナのリソースを制限してください: docker run --cpus=1 --memory=2g。CIでのみ発生するフレーキーの多くは、マシンのスペックが低いことが原因です。より大きなランナーを使えば原因を解消せずに問題を回避できます。短期的にはそれも有効な手段になり得ますが、本来の修正内容は必ず記録してください。
新たな不安定テストを防ぐ
- 新しく追加したテストは、そのテストを追加するPRで20回実行してください。
- テストスイート全体をシャッフルし、夜間ジョブで実行してください。
- sleep、共有状態、実際のネットワーク呼び出しがないか、テストコードをレビューしてください。
- フレーキーなテストは、失敗するテストと同じ優先度のバグとして扱ってください。開発者にとっては実際にそれと同じだからです。
テストをシャーディングする場合は、テストの順序依存を隠さずに行う方法をテストのシャーディングと並列テストで確認してください。
よくある質問
CIで失敗したテストを自動で再実行すべきですか?
既知の限られた原因がある場合にのみ行い、再実行で成功した事例がレポートに表示されるよう、すべての再実行を記録してください。一律の再実行は、実際の問題を隠してしまいます。
フレーキーなテストは、テストがないよりも悪いのですか?
誰もがそれを無視する場合は、多くの場合そのとおりです。隔離され追跡されているテストのほうが、全員が再実行しているブロッキングテストよりも望ましいです。
フレーキーなエンドツーエンドテストはどのように扱えばよいですか?
数を少なくし、可能な場合はAPI経由でテストし、自動待機機能付きのロケーターを使用し、テストデータを分離し、失敗時のトレースを保持してください。より低コストのチェックが通過した後に実行してください。
フレーキーなテストはDORAメトリクスに影響しますか?
はい。再実行はリードタイムを延ばし、再実行率が高いと変更失敗率の実態が見えにくくなります。DORAメトリクスを参照してください。
効果を測定する
整理の前後で、再実行率とPRの中央値の時間を比較してください。失敗がCPU不足によるフレーキーかどうかも知りたい場合は、compiler.devの比較モードで同じジョブをより大きなマシンで実行できるため、リソースを増やしたときに失敗が消えるかどうかを確認できます。
関連記事
- Cypressのテストが遅い?Cypressを高速化する方法CIでCypressのテストが遅いですか?cy.session、インターセプト、固定待機の廃止でCypressを高速化する方法と、GitHub ActionsでのCypress並列テストを解説します。
- 不安定なE2Eテスト: 原因と持続する修正方法不安定なe2eテストと不安定なエンドツーエンドテスト: 不適切な待機、テストの独立性、共有データベースの状態を修正し、バグを隠さずに再試行と隔離を使ってください。
- CIでPlaywrightのテストが遅い?ワーカーとシャーディングで解決CIでPlaywrightのテストが遅いですか?ワーカー数の増加、storageStateの再利用、ブラウザのキャッシュ、--shardによるテストのシャーディングで高速化できます。Pythonにも対応しています。
- Pytestの遅いテスト:発見、マーク、スキップ、高速化(xdist)Pytestの遅いテストは、--durationsで見つけ、既定でマークしてスキップし、pytest-xdistとCIジョブ間でのスイート分割によって高速化します。