Pytestの遅いテスト:発見、マーク、スキップ、高速化(xdist)
最終更新 · 初回公開
Pytestの遅いテストには、対処法が2つあります。理由があって遅いテストは、マークを付けて実行のタイミングを決めます。それ以外は偶然遅くなっているだけなので、並列化、軽量なフィクスチャ、CIジョブへのスイート分割で高速化できます。このガイドでは、遅いテストの見つけ方、遅いテスト向けのpytestマークの使い方、デフォルトでの遅いテストのスキップとオンデマンド実行の方法、xdistと分割の使い方を説明します。このガイドは遅いE2Eテストのクラスターの一部です。
遅いテストを見つける
pytest --durations=20 # 20 slowest tests (setup, call, teardown)
pytest --durations=20 --durations-min=1.0 # only those over 1 second
pytest -q --setup-show -k test_name # see fixture setup for one test
--durations では、セットアップとティアダウンの時間が個別に表示されます。テストに 0.01s call と 3s setup と表示される場合、問題はテストではなくフィクスチャにあります。
遅いテストにマークを付ける
pytestが警告を出さないようにマーカーを登録し、適用します:
# pytest.ini
[pytest]
markers =
slow: tests that take more than a second or two
e2e: tests that drive a real browser or service
import pytest
@pytest.mark.slow
def test_full_import():
...
その後、マーカーで選択または除外できます:
pytest -m "not slow" # fast feedback: skip slow tests
pytest -m slow # run only the slow tests
pytest # everything
デフォルトで遅いテストをスキップし、オンデマンドで実行する
よくあるパターンは、フラグが指定されない限り遅いテストをスキップする方法です。conftest.pyに次のコードを追加してください:
import pytest
def pytest_addoption(parser):
parser.addoption("--runslow", action="store_true", default=False, help="run slow tests")
def pytest_collection_modifyitems(config, items):
if config.getoption("--runslow"):
return
skip_slow = pytest.mark.skip(reason="need --runslow to run")
for item in items:
if "slow" in item.keywords:
item.add_marker(skip_slow)
これで、ノートPCではpytestが高速に動作し、pytest --runslowですべてのテストを実行できます。CIでは、すべてのPRで-m "not slow"を実行し、mainへのマージ時や夜間に、遅いテストのセットを別ジョブで実行します。多くのPythonプロジェクトにとって、これが最も大きな時間短縮になります。スキップされたテストはskippedとして表示されるため、可視性は保たれます。遅いジョブの担当者を必ず決めてください。実行されない遅いスイートは、テストがないのと同じです。
pytest-xdistで並列実行する
pip install pytest-xdist
pytest -n auto # one worker per CPU core
pytest -n 4 # fixed worker count
pytest -n auto --dist loadfile # keep tests from the same file together
-n autoはすべてのコアを使用します。2 vCPUのランナーでは2ワーカーになります。テストは互いに独立している必要があります。共有ファイル、ポート、データベースの行を使わないでください。データベースについては、worker_idフィクスチャを使い、ワーカーごとに個別のデータベースを用意してください:
@pytest.fixture(scope="session")
def db_name(worker_id):
return "test" if worker_id == "master" else f"test_{worker_id}"
scope="session"のフィクスチャは、実行ごとではなくワーカーごとに1回実行されます。これは想定どおりの動作ですが、重いセッションフィクスチャはワーカー数に比例して増えます。--dist loadscopeはモジュールまたはクラス単位でグループ化し、モジュールスコープのフィクスチャを使う場合に役立ちます。
軽量なフィクスチャ
- 高コストな読み取り専用のセットアップには、
scope="module"または"session"を優先してください。 - データベースのテストはトランザクションで囲み、テーブルを再作成する代わりにロールバックしてください。
- インメモリSQLiteは、本番環境の挙動が許す場合にのみ使用してください。そうでなければ、ジョブごとに1回起動するコンテナ内の実データベースの方が忠実です。
time.sleepは、偽のクロック(freezegunまたはtime-machine)やイベントの待機に置き換えてください。- ローカルでは
pytest --lf(前回失敗したテスト)と--ff(失敗したテストを先に実行)を使ってください。
スイートをCIジョブに分割する
xdistは1台のランナーのコアを使います。より多くのランナーを使うには、スイートを分割します。pytest-splitなどのプラグインは、保存された実行時間を使ってテストをグループに割り当てます。pytest-shardなど他の選択肢もあるため、最新のフラグは各プロジェクトのREADMEで確認してください。pytest-splitを使う場合:
strategy:
fail-fast: false
matrix:
group: [1, 2, 3, 4]
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with: { python-version: "3.12", cache: pip }
- run: pip install -r requirements.txt pytest-split pytest-xdist
- run: pytest -n auto --splits 4 --group ${{ matrix.group }}
pytest --store-durationsで実行時間を一度生成し、.test_durationsファイルをコミットしてください。これにより、グループの数ではなく時間に基づいてバランスがとれます。一般的な方法、コストのトレードオフ、バランシングについては、テストシャーディングのガイドとプランナーを参照してください。
Python向けのCI設定
actions/setup-pythonをcache: pip付きで使用するか(またはuvとそのキャッシュを使用し)、依存関係のインストールを復元できるようにしてください。- テストジョブではテスト用の依存関係だけをインストールしてください。
- Pythonからのブラウザテストについては、Python向けのセクションにあるPlaywrightテストが遅いを参照してください。
CPUを増やす
-n autoがボトルネックになっている場合、xdistはコア数に比例して拡張するため、コアを増やすと直接効果があります。高速なGitHub Actionsランナーを参照してください。compiler.devは、18の計測スタックにおいて、GitHubの2コアランナーと比べて中央値で1.5倍高速でした(15件が高速、2件が同等、1件が低速)。比較モードでは、お客様自身のジョブを計測できます。パイプラインのその他の部分については、遅いCIのハブを参照してください。
よくある質問
pytestでテストを遅いテストとしてマークするにはどうすればよいですか?
@pytest.mark.slowでデコレートし、警告を避けるためにpytest.iniのmarkersの下にslowを登録してください。
pytestで遅いテストをスキップするにはどうすればよいですか?
pytest -m "not slow"を実行するか、conftest.pyに--runslowオプションを追加し、フラグがない限り遅いマークの付いたテストをスキップしてください。
遅いテストだけを実行するにはどうすればよいですか?
pytest -m slow.
pytest-xdistは常に高速ですか?
小規模なスイートでは、ワーカーの起動コストが節約分を上回るため高速化になりません。また、テストが状態を共有している場合も同様です。1分以上かかるスイートでは、通常は大きな効果があります。
関連記事
- CIでDockerビルドが遅い?原因を特定して解決CIでDockerビルドが遅いですか?ビルドコンテキストのサイズ、.dockerignore、レイヤーの順序、キャッシュミス、BuildKitの設定を診断し、最も影響の大きい問題から修正しましょう。
- Cypressのテストが遅い?Cypressを高速化する方法CIでCypressのテストが遅いですか?cy.session、インターセプト、固定待機の廃止でCypressを高速化する方法と、GitHub ActionsでのCypress並列テストを解説します。
- 不安定なE2Eテスト: 原因と持続する修正方法不安定なe2eテストと不安定なエンドツーエンドテスト: 不適切な待機、テストの独立性、共有データベースの状態を修正し、バグを隠さずに再試行と隔離を使ってください。
- Jestが遅い? Jestテストを高速化する:ワーカーと--shardJestテストが遅いですか? 高速なTypeScript変換、適切なワーカー数、CIでの--shardの利用で高速化できます。まず最も遅いテストを特定してください。設定例も掲載しています。