コンテンツへスキップ

Pytestの遅いテスト:発見、マーク、スキップ、高速化(xdist)

最終更新 · 初回公開

Pytestの遅いテストには、対処法が2つあります。理由があって遅いテストは、マークを付けて実行のタイミングを決めます。それ以外は偶然遅くなっているだけなので、並列化、軽量なフィクスチャ、CIジョブへのスイート分割で高速化できます。このガイドでは、遅いテストの見つけ方、遅いテスト向けのpytestマークの使い方、デフォルトでの遅いテストのスキップとオンデマンド実行の方法、xdistと分割の使い方を説明します。このガイドは遅いE2Eテストのクラスターの一部です。

遅いテストを見つける

pytest --durations=20            # 20 slowest tests (setup, call, teardown)
pytest --durations=20 --durations-min=1.0   # only those over 1 second
pytest -q --setup-show -k test_name         # see fixture setup for one test

--durations では、セットアップとティアダウンの時間が個別に表示されます。テストに 0.01s call と 3s setup と表示される場合、問題はテストではなくフィクスチャにあります。

遅いテストにマークを付ける

pytestが警告を出さないようにマーカーを登録し、適用します:

# pytest.ini
[pytest]
markers =
    slow: tests that take more than a second or two
    e2e: tests that drive a real browser or service
import pytest

@pytest.mark.slow
def test_full_import():
    ...

その後、マーカーで選択または除外できます:

pytest -m "not slow"     # fast feedback: skip slow tests
pytest -m slow           # run only the slow tests
pytest                   # everything

デフォルトで遅いテストをスキップし、オンデマンドで実行する

よくあるパターンは、フラグが指定されない限り遅いテストをスキップする方法です。conftest.pyに次のコードを追加してください:

import pytest

def pytest_addoption(parser):
    parser.addoption("--runslow", action="store_true", default=False, help="run slow tests")

def pytest_collection_modifyitems(config, items):
    if config.getoption("--runslow"):
        return
    skip_slow = pytest.mark.skip(reason="need --runslow to run")
    for item in items:
        if "slow" in item.keywords:
            item.add_marker(skip_slow)

これで、ノートPCではpytestが高速に動作し、pytest --runslowですべてのテストを実行できます。CIでは、すべてのPRで-m "not slow"を実行し、mainへのマージ時や夜間に、遅いテストのセットを別ジョブで実行します。多くのPythonプロジェクトにとって、これが最も大きな時間短縮になります。スキップされたテストはskippedとして表示されるため、可視性は保たれます。遅いジョブの担当者を必ず決めてください。実行されない遅いスイートは、テストがないのと同じです。

pytest-xdistで並列実行する

pip install pytest-xdist
pytest -n auto          # one worker per CPU core
pytest -n 4             # fixed worker count
pytest -n auto --dist loadfile   # keep tests from the same file together

-n autoはすべてのコアを使用します。2 vCPUのランナーでは2ワーカーになります。テストは互いに独立している必要があります。共有ファイル、ポート、データベースの行を使わないでください。データベースについては、worker_idフィクスチャを使い、ワーカーごとに個別のデータベースを用意してください:

@pytest.fixture(scope="session")
def db_name(worker_id):
    return "test" if worker_id == "master" else f"test_{worker_id}"

scope="session"のフィクスチャは、実行ごとではなくワーカーごとに1回実行されます。これは想定どおりの動作ですが、重いセッションフィクスチャはワーカー数に比例して増えます。--dist loadscopeはモジュールまたはクラス単位でグループ化し、モジュールスコープのフィクスチャを使う場合に役立ちます。

軽量なフィクスチャ

  • 高コストな読み取り専用のセットアップには、scope="module"または"session"を優先してください。
  • データベースのテストはトランザクションで囲み、テーブルを再作成する代わりにロールバックしてください。
  • インメモリSQLiteは、本番環境の挙動が許す場合にのみ使用してください。そうでなければ、ジョブごとに1回起動するコンテナ内の実データベースの方が忠実です。
  • time.sleepは、偽のクロック(freezegunまたはtime-machine)やイベントの待機に置き換えてください。
  • ローカルではpytest --lf(前回失敗したテスト)と--ff(失敗したテストを先に実行)を使ってください。

スイートをCIジョブに分割する

xdistは1台のランナーのコアを使います。より多くのランナーを使うには、スイートを分割します。pytest-splitなどのプラグインは、保存された実行時間を使ってテストをグループに割り当てます。pytest-shardなど他の選択肢もあるため、最新のフラグは各プロジェクトのREADMEで確認してください。pytest-splitを使う場合:

strategy:
  fail-fast: false
  matrix:
    group: [1, 2, 3, 4]
steps:
  - uses: actions/checkout@v4
  - uses: actions/setup-python@v5
    with: { python-version: "3.12", cache: pip }
  - run: pip install -r requirements.txt pytest-split pytest-xdist
  - run: pytest -n auto --splits 4 --group ${{ matrix.group }}

pytest --store-durationsで実行時間を一度生成し、.test_durationsファイルをコミットしてください。これにより、グループの数ではなく時間に基づいてバランスがとれます。一般的な方法、コストのトレードオフ、バランシングについては、テストシャーディングのガイドとプランナーを参照してください。

Python向けのCI設定

  • actions/setup-pythonをcache: pip付きで使用するか(またはuvとそのキャッシュを使用し)、依存関係のインストールを復元できるようにしてください。
  • テストジョブではテスト用の依存関係だけをインストールしてください。
  • Pythonからのブラウザテストについては、Python向けのセクションにあるPlaywrightテストが遅いを参照してください。

CPUを増やす

-n autoがボトルネックになっている場合、xdistはコア数に比例して拡張するため、コアを増やすと直接効果があります。高速なGitHub Actionsランナーを参照してください。compiler.devは、18の計測スタックにおいて、GitHubの2コアランナーと比べて中央値で1.5倍高速でした(15件が高速、2件が同等、1件が低速)。比較モードでは、お客様自身のジョブを計測できます。パイプラインのその他の部分については、遅いCIのハブを参照してください。

よくある質問

pytestでテストを遅いテストとしてマークするにはどうすればよいですか?

@pytest.mark.slowでデコレートし、警告を避けるためにpytest.iniのmarkersの下にslowを登録してください。

pytestで遅いテストをスキップするにはどうすればよいですか?

pytest -m "not slow"を実行するか、conftest.pyに--runslowオプションを追加し、フラグがない限り遅いマークの付いたテストをスキップしてください。

遅いテストだけを実行するにはどうすればよいですか?

pytest -m slow.

pytest-xdistは常に高速ですか?

小規模なスイートでは、ワーカーの起動コストが節約分を上回るため高速化になりません。また、テストが状態を共有している場合も同様です。1分以上かかるスイートでは、通常は大きな効果があります。

compiler.devでこのpytestスイートを実行 カード登録不要 · 200 無料分

無料で試す