不安定なテストとは何か:定義と原因
最終更新
フレイキーテストとは、テストやアプリケーションに変更がないにもかかわらず、同じコードで成功したり失敗したりするテストのことです。結果が決定的でないため、失敗が信頼できる情報を示さず、チームは赤いビルドを無視するようになります。
仕組み
フレイキーさは、テストが制御できない要因から生じます。テストは特定の条件下では正しく動作し、別の条件下では誤った結果を出します。CIは時折その誤った条件に遭遇します。主な原因は次のとおりです。
- タイミングとレース。固定の sleep、await されていない非同期コード、描画前の UI 要素へのクリックなど。
- 共有状態。実行順序に依存する、データを残す、または並列テストとデータベースを共有するテスト。テストのシャーディングによって表面化することがよくあります。
- 外部サービス。実際のネットワーク呼び出し、レート制限、サードパーティのサンドボックス。
- 時刻と乱数。現在の日付、タイムゾーン、またはシードが設定されていない乱数に依存するテスト。
- リソースの制限。性能が不足したランナーにより、ノートPCでは起きないタイムアウトが発生します。
- 環境のずれ。実行ごとに異なるブラウザ、ロケール、依存関係のバージョン。
フレイキーさの検出
- 再実行して比較します。コードを変更せずに再試行して成功する失敗は、フレイキーです。
- 多数回実行します。50〜100回のループで再現することがよくあります。
- Track history. Record pass/fail per test per commit. A test that flips on the same commit is the culprit.
- 順序をランダム化します。多くのランナーはテストをシャッフルでき、順序依存を明らかにできます。
例
Playwright は CI で再試行を行い、失敗のトレースを保存して調査できるようにします。
- run: npx playwright test --retries=2 --trace=on-first-retry
- uses: actions/upload-artifact@v4
if: failure()
with:
name: playwright-traces
path: test-results/
再試行によりビルドは緑になりますが、問題は隠れてしまいます。再試行が必要だったテストは修正すべきバグとして扱ってください。詳しいガイド:フレイキーテストとフレイキーなエンドツーエンドテスト。
よくある間違い
- 無期限の再試行。自動再試行はフレイキーさを覆い隠し、CI の実行時間を増やします。
- sleep の延長。発生率は下がりますが、競合状態はなくなりません。時間ではなく条件を待つようにしてください。
- テストの削除。カバレッジが失われます。別の非ブロッキングジョブに隔離し、issue を登録して修正してください。
- マージキューでのコストを無視する。1回のフレイキーさでプルリクエストが除外され、その後ろのものも再実行されます。
- CI のせいにする。マシンが引き金になることもありますが、バグはテストにあります。
関連用語
よくある質問
フレイキーテストはどのくらい一般的ですか?
大規模なコードベースにはほぼ必ずいくつか存在します。発生率はさまざまなため、業界の数値を信じるのではなく、ご自身のpass/fail履歴を測定してください。
CI でフレイキーテストを再試行すべきですか?
報告機能と組み合わせた暫定的な対策として再試行を使ってください。再試行されたテストが可視化され、修正されるようにします。
低速なランナーはフレイキーさを引き起こしますか?
はい。2コアのマシンでは厳しすぎるタイムアウトも、より高速なマシンでは通ることがあります。ただし根本的な解決策は、時間ではなく条件を待つことです。
関連記事
- 不安定なE2Eテスト: 原因と持続する修正方法不安定なe2eテストと不安定なエンドツーエンドテスト: 不適切な待機、テストの独立性、共有データベースの状態を修正し、バグを隠さずに再試行と隔離を使ってください。
- CIで不安定なテストを見つけ、修正し、影響を抑える方法フレイキーテストへの実践的な対処計画です。フレイク率の測定、再実行による検出、安全な隔離、よくある原因の修正、そしてリトライがバグを隠さないようにする方法を説明します。
- テストのシャーディング: 意味、Jest、Gradle、Bazel などテストのシャーディングについて、その意味と、GitHub Actions で Jest、Playwright、Vitest、Gradle、Bazel、Flutter、dotnet、Android のテストをシャーディングする方法を解説します。
- CIにおけるテストシャーディングとはテストシャーディングは、1つのテストスイートを複数のスライスに分割し、別々のCIマシンで並列実行することで、経過時間を短縮する手法です。仕組みと、よくある間違いを解説します。