コンテンツへスキップ

CIで不安定なテストを見つけ、修正し、影響を抑える方法

最終更新日

フレイキーテストとは、同じコードでも成功したり失敗したりするテストのことです。こうしたテストがあると、開発者は赤いビルドを「再実行」で済ませるようになり、その結果として本物の失敗が見逃されてマージされてしまいます。さらに、再実行のたびに料金が発生するため、コストの面でも負担になります。本ガイドでは、フレイクの測定方法、開発を妨げないための封じ込め方法、そしてよくある原因の修正方法を説明します。

発生頻度

Googleのテストチームは2016年に、テストのほぼ16パーセントに何らかのフレイキーさがあり、全テスト実行の約1.5パーセントがフレイキーな結果を報告していたと発表しました。詳細は、同社のエンジニアリングブログの記事「Flaky Tests at Google and How We Mitigate Them」にまとめられています。数値はプロジェクトによって異なりますが、大規模なテストスイートではある程度のフレイキーさが当たり前に存在するという点は共通しています。根性で対処するのではなく、プロセスとして管理する必要があります。

コストは簡単に計算できます。PRの実行の10パーセントがフレイキーな理由で失敗し、それぞれが15分・2コアのLinuxジョブを1回再実行させるとすると、PRあたり平均で約1.5分の追加時間が発生し、料金は1分あたり$0.006になります。ここでの金額は小さいものの、開発者の待ち時間や信頼の低下、コンテキストスイッチの方が実際には大きな損失です。待ち時間を数値化するには、CI遅延のコスト計算ツールをご利用ください。

ステップ1:フレイク率を測定する

数えられないものは管理できません。フレイキーな失敗は、同じコミットのリトライで成功したテストと定義します。次の項目を追跡してください。

  • テストごとのフレイク率(フレイキーな失敗の数を実行回数で割った値)
  • 再実行が必要だったワークフロー実行の割合
  • 再実行によって失われた時間

データはテストレポートから取得します。各実行のJUnit XMLをアップロードし、テスト名とコミットSHAをキーにして結果を簡単な表に保存してください。まだツールがない場合は、gh run listを週次で実行し、最終的に成功したrun_attempt > 1の実行を抽出するスクリプトで最初の推定値を得られます。

gh run list --workflow ci.yml --limit 200 --json databaseId,attempt,conclusion \
  --jq '[.[] | select(.attempt > 1 and .conclusion == "success")] | length'

ステップ2:意図的にフレイクを検出する

ランダムな失敗を待つのではなく、疑わしいテストを定期ジョブで何度も再実行します。

on:
  schedule:
    - cron: "0 3 * * *"
jobs:
  flake-hunt:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: go test ./... -count=20 -shuffle=on

同等の方法としては、pytest-repeatを使ったpytest --count=20、順序をシャッフルするpytest -p randomly、jest --runInBandと繰り返し実行の組み合わせ、Playwrightの--repeat-each=10などがあります。テストの順序をシャッフルすることと、並列実行することは、隠れた依存関係を明らかにする最も速い方法です。

テストを追加または変更するプルリクエストでは、マージ前に、変更したテストだけを20〜50回繰り返し実行してください。

ステップ3:無差別なリトライではなく、隔離で封じ込める

リトライは魅力的ですが危険です。ジョブ全体を「3回まで再試行」するような設定は、プロダクションコードの競合状態などの本物の断続的なバグを隠してしまい、さらに全体を遅くします。次の方法を順に検討してください。

  1. 既知のフレイキーなテストを隔離します。タグを付け(@flaky、pytest.mark.flaky、環境変数の背後でのt.Skipなど)、ブロッキングしない別ジョブで実行します。データは引き続き収集されますが、マージを妨げることはありません。
  2. 特定のテストに限定したリトライを、記録付きで行います。例としては、pytest --reruns 2 --only-rerun ConnectionError、設定での Playwright のretries: 2(リトライで成功したテストをレポート上で「flaky」と表示します)、Jest のjest.retryTimes(2)があります。
  3. 隔離したテストごとに、担当者と期限を設定したチケットを作成してください。担当者のいない隔離は、実質的に削除と同じです。CODEOWNERSを使用して、チケットを担当チームに振り分けてください。

隔離リストが一定の数を超えたらビルドを失敗させ、週次でレビューします。

ステップ4:よくある原因を修正する

ほとんどのフレイクは、次の短いリストのいずれかに当てはまります。

原因症状対処
対処深夜、夏時間の切り替え時、月末に失敗する時刻を注入し、テストでは時間を固定する
非同期の待機sleep(1)やタイミングに依存したアサーション条件やイベントを待機し、タイムアウトを設定する
共有状態単独では成功するが、スイート内で失敗するテストごとにデータを分離し、データベースやグローバル変数をリセットする
テストの順序シャッフルすると失敗するテスト間の依存関係を取り除く
ポートとファイル"address already in use"エフェメラルポートと一時ディレクトリを使用する
外部サービスネットワークエラーフェイクまたは記録済みのレスポンスを使用し、実サービスに対するテストは別のジョブに分けてください
リソース制限ローカルでは成功するが、2コアのCIでは失敗する並列実行数を下げるか、より大きなランナーを使用してください
ランダム性シードに依存するシードを記録し、失敗時には再現のために固定してください
UIのタイミング要素がまだ表示されていないフレームワークの自動待機機能とWebファーストのアサーションを使用してください

失敗を再現できるように、実行のたびにシードとテストの実行順序を記録してください。失敗したテストについては、スクリーンショット、トレース、サーバーログなどの成果物を保持してください(if: failure())。

ステップ5: 再現

CIの条件でフレーキーテストを再現するには、同じ種類のランナー上で、同じコンテナ内のループで実行してください:

for i in $(seq 1 100); do pytest tests/test_checkout.py -x -q || break; done

負荷がかかった場合にのみ失敗する場合は、CPUストレスと並行して実行するか、コンテナのリソースを制限してください: docker run --cpus=1 --memory=2g。CIでのみ発生するフレーキーの多くは、マシンのスペックが低いことが原因です。より大きなランナーを使えば原因を解消せずに問題を回避できます。短期的にはそれも有効な手段になり得ますが、本来の修正内容は必ず記録してください。

新たな不安定テストを防ぐ

  • 新しく追加したテストは、そのテストを追加するPRで20回実行してください。
  • テストスイート全体をシャッフルし、夜間ジョブで実行してください。
  • sleep、共有状態、実際のネットワーク呼び出しがないか、テストコードをレビューしてください。
  • フレーキーなテストは、失敗するテストと同じ優先度のバグとして扱ってください。開発者にとっては実際にそれと同じだからです。

テストをシャーディングする場合は、テストの順序依存を隠さずに行う方法をテストのシャーディングと並列テストで確認してください。

よくある質問

CIで失敗したテストを自動で再実行すべきですか?

既知の限られた原因がある場合にのみ行い、再実行で成功した事例がレポートに表示されるよう、すべての再実行を記録してください。一律の再実行は、実際の問題を隠してしまいます。

フレーキーなテストは、テストがないよりも悪いのですか?

誰もがそれを無視する場合は、多くの場合そのとおりです。隔離され追跡されているテストのほうが、全員が再実行しているブロッキングテストよりも望ましいです。

フレーキーなエンドツーエンドテストはどのように扱えばよいですか?

数を少なくし、可能な場合はAPI経由でテストし、自動待機機能付きのロケーターを使用し、テストデータを分離し、失敗時のトレースを保持してください。より低コストのチェックが通過した後に実行してください。

フレーキーなテストはDORAメトリクスに影響しますか?

はい。再実行はリードタイムを延ばし、再実行率が高いと変更失敗率の実態が見えにくくなります。DORAメトリクスを参照してください。

効果を測定する

整理の前後で、再実行率とPRの中央値の時間を比較してください。失敗がCPU不足によるフレーキーかどうかも知りたい場合は、compiler.devの比較モードで同じジョブをより大きなマシンで実行できるため、リソースを増やしたときに失敗が消えるかどうかを確認できます。

このワークフローを compiler.dev で実行する カード登録不要 · 200 無料分

無料で試す