ユニットテストとE2Eテスト: 速度、コスト、テストピラミッド
最終更新
ユニットテストとE2Eテストの違いは対象範囲にあり、その範囲が速度、コスト、不安定さを左右します。ユニットテストはメモリ上で1つの関数やクラスを確認します。E2Eテストはユーザーと同じ操作でシステム全体を動かします。ユニットテストの方が得意な内容にE2Eテストを使うと、遅く不安定なテストスイートになりがちです。本ガイドでは、速度とコストの観点からユニットテストとE2Eテストを比較し、テストピラミッドを紹介して、選び方を説明します。CIの速度への影響は遅いE2Eテストのガイドで扱っています。
比較
| ユニット | 結合 | E2E | |
|---|---|---|---|
| 対象範囲 | 1つの関数またはクラス | 複数のコンポーネント(実データベースを含むことが多い) | UIまたは公開APIを通したアプリ全体 |
| テスト1件あたりの典型的な時間 | ミリ秒 | 数十〜数百ミリ秒 | 数秒〜数十秒 |
| セットアップ | なし、またはモック | データベース、サービス | ブラウザ、アプリ、データベース、シードデータ |
| 障害箇所の数 | 少ない | いくつか | 多い(すべての層) |
| 不安定さ | まれ | ときどき | よく発生(不安定なE2Eテスト) |
| 障害の切り分け | 該当の行を特定できる | 該当のコンポーネントを特定できる | 操作フローを特定してから掘り下げる |
| 連携して動作する確信度 | 低い | 中程度 | 高い |
上記の時間はおおよその桁の目安であり、ベンチマークではありません。実際のスイートでは差が出ます。ただし傾向は一貫しています。上の層に進むごとに、テスト1件あたりの時間と保守の負担が、おおむね10〜100倍になります。
テストピラミッド
テストピラミッドでは、ユニットテストを多く、結合テストを中程度、E2Eテストを少数に抑えることを推奨します。
/\ few e2e tests: critical user journeys
/ \
/----\ some integration tests: DB, API, services
/ \
/--------\ many unit tests: logic, edge cases
理由は、確信度あたりのコストにあります。エッジケースが20件ある価格ルールは、20件のユニットテストで書けば合計50ミリ秒で終わります。同じ20件をブラウザ経由で実行すると数分かかり、しかも価格ロジックと無関係な理由で失敗することがあります。E2Eテストは、ケースを網羅するためではなく、各部品が正しくつながっていることを確認するために使いましょう(サインアップ、支払い、結果の表示など)。
特にサービス志向のバックエンドでは、結合テストを多くする「トロフィー」や「ハニカム」モデルを選ぶチームもあります。原則は同じです。ほとんどのチェックを、高速で正確に実行できる場所に置きましょう。
それぞれがテストすべき内容
- ユニット: 業務ルール、パース処理、書式設定、計算、状態遷移、エラー処理、エッジケース。
- インテグレーションテスト: データベースのクエリとマイグレーション、実際のデータベースを使うAPIハンドラー、メッセージ処理、認証と権限のルール。
- E2Eテスト: ログイン、チェックアウト、製品の中核となるワークフローなど、重要な操作の流れをいくつか、そしてデプロイ済みアプリが起動することを確認するスモークテスト。
バリデーションメッセージ、書式設定、権限のマトリクス、組み合わせの多い項目にはE2Eテストを使わないようにしてください。
コストの観点:PRが実際に支払うもの
ユニットテスト2,000件、インテグレーションテスト300件、E2Eテスト120件を実行し、分単位で課金されるランナーでPRを回すサービスを例にします。以下は説明用の数値で、実測データではありません。
- ユニットテスト: 2,000件を1件あたり5 msで実行すると、約10秒です。
- インテグレーションテスト: 300件を1件あたり150 msで実行すると、約45秒です。
- E2Eテスト: 120件を1件あたり15秒で直列実行すると30分、4つのシャードに分けると(セットアップ時間を含めて)約8分です。
E2Eの層は、テスト全体の4%から実行時間の90%以上を占めています。GitHubのLinux標準レートである1分あたり$0.006(料金)で計算すると、直列で32分の場合は1回の実行あたり約$0.19、4シャードで各8分の場合は合計32分の課金になります。1回あたりの金額は小さいものの、実際に重要なのは開発者の待ち時間です。CIの遅延コスト計算ツールで見積もることができ、10人のチームでPRごとに30分待つと、その損失は速やかに大きくなります。
E2Eチェックのうち40件をインテグレーションテストに移すと、直列の実行時間を約10分削減できます。かかる作業は数時間分の一度きりです。このトレードオフはほぼ常に割に合います。
3種類のテストを使いながらCIを高速に保つ方法
- 速度順に実行します。 ユニットテストを最初に実行し、失敗したらすぐ止めます。E2Eは前段のテストが通った場合のみ開始するか、経過時間を最短にしたい場合は並列ジョブで実行します。
- イベントごとに適切なテストを実行します。 スモークE2Eとユニットテストは全PRで実行し、フルのE2Eはmainへのマージ時や夜間に実行します。マージキューも参照してください。
- 遅い層を並列化します。 E2Eテストをシャード分割し、分割数はプランナーが決めます。
- 依存関係とブラウザをキャッシュします(キャッシュガイド)。
- E2Eに十分なCPUを割り当てます。 ブラウザテストは2 vCPUでは遅くなりがちです。高速なGitHub Actionsランナーでは選択肢を比較しており、18のスタックで測定した結果、compiler.devはGitHubの2コアランナーと比べて中央値で1.5倍高速でした(15件で高速、2件で同等、1件で低速)。比較モードでは、ご自身のジョブを計測することもできます。
- テスト件数を適切に保ちます。 E2Eテストがプロダクト以外の理由で3回目の失敗をしたら、そのチェックをより下位の層に移すか、テストを削除してください。
フレームワークごとのガイド: Jest、Vitest、pytest、Playwright、Cypress。パイプライン全体についてはCIの遅延対策ハブをご覧ください。
選択の目安
次の問いを考えてください。このバグは、どの最も低いレベルで検出できるか。ユニットテストで検出できるならユニットテストを書きます。実際のデータベースが必要ならインテグレーションテストを書きます。ブラウザ、ネットワーク、サーバーが組み合わさったときにしか発生しないなら、E2Eテストを書きます。
よくある質問
ユニットテストとE2Eテストの違いは何ですか?
ユニットテストは小さな部品を単独で素早く検証します。E2Eテストは実際のインターフェースを通してシステム全体を検証するため、時間がかかります。両方が必要で、その比率は場合によって異なります。
E2Eテストはユニットテストより優れていますか?
どちらが優れているということはありません。E2Eテストは1件あたりの信頼性は高いものの、時間と保守のコストがはるかに大きいため、最も重要な操作の流れに絞って少数だけ使ってください。
テストピラミッドとは何ですか?
下部に高速なユニットテストを多数置き、中間にインテグレーションテストを少し減らし、上部に少数のE2Eテストを置くモデルです。
E2Eテストはどのくらい用意すべきですか?
重要な操作の流れを網羅するのに十分な数で、数百件ではなく数十件であることが多いです。E2Eの実行時間がPRの時間予算を超える場合は、チェックをより下の層に移してください。
関連記事
- Cypressのテストが遅い?Cypressを高速化する方法CIでCypressのテストが遅いですか?cy.session、インターセプト、固定待機の廃止でCypressを高速化する方法と、GitHub ActionsでのCypress並列テストを解説します。
- 不安定なE2Eテスト: 原因と持続する修正方法不安定なe2eテストと不安定なエンドツーエンドテスト: 不適切な待機、テストの独立性、共有データベースの状態を修正し、バグを隠さずに再試行と隔離を使ってください。
- CIでPlaywrightのテストが遅い?ワーカーとシャーディングで解決CIでPlaywrightのテストが遅いですか?ワーカー数の増加、storageStateの再利用、ブラウザのキャッシュ、--shardによるテストのシャーディングで高速化できます。Pythonにも対応しています。
- Pytestの遅いテスト:発見、マーク、スキップ、高速化(xdist)Pytestの遅いテストは、--durationsで見つけ、既定でマークしてスキップし、pytest-xdistとCIジョブ間でのスイート分割によって高速化します。