Pytest: langsame Tests finden, markieren und beschleunigen
Zuletzt aktualisiert: · Erstmals veröffentlicht:
Pytest-Tests mit langer Laufzeit lassen sich auf zwei getrennten Wegen beschleunigen. Manche Tests sind aus einem bestimmten Grund langsam; diese sollten Sie markieren und festlegen, wann sie laufen. Die übrigen sind aus Versehen langsam, und Sie können sie mit Parallelisierung, günstigeren Fixtures und der Aufteilung der Suite auf mehrere CI-Jobs beschleunigen. Dieser Leitfaden zeigt, wie Sie langsame Tests finden, wie Sie einen Pytest-Mark für langsame Tests verwenden, wie Sie langsame Tests standardmäßig überspringen und bei Bedarf ausführen und wie Sie xdist und Aufteilung einsetzen. Er ist Teil des Clusters langsame E2E-Tests.
Langsame Tests finden
pytest --durations=20 # 20 slowest tests (setup, call, teardown)
pytest --durations=20 --durations-min=1.0 # only those over 1 second
pytest -q --setup-show -k test_name # see fixture setup for one test
--durations weist Setup und Teardown getrennt aus. Zeigt ein Test 0.01s call und 3s setup, liegt das Problem am Fixture, nicht am Test.
Langsame Tests markieren
Registrieren Sie einen Marker, damit Pytest keine Warnung ausgibt, und wenden Sie ihn an:
# pytest.ini
[pytest]
markers =
slow: tests that take more than a second or two
e2e: tests that drive a real browser or service
import pytest
@pytest.mark.slow
def test_full_import():
...
Anschließend können Sie nach Marker auswählen oder ausschließen:
pytest -m "not slow" # fast feedback: skip slow tests
pytest -m slow # run only the slow tests
pytest # everything
Langsame Tests standardmäßig überspringen und bei Bedarf ausführen
Ein gängiges Muster ist, langsame Tests nur zu überspringen, wenn kein Flag gesetzt ist. Fügen Sie dies zu conftest.py hinzu:
import pytest
def pytest_addoption(parser):
parser.addoption("--runslow", action="store_true", default=False, help="run slow tests")
def pytest_collection_modifyitems(config, items):
if config.getoption("--runslow"):
return
skip_slow = pytest.mark.skip(reason="need --runslow to run")
for item in items:
if "slow" in item.keywords:
item.add_marker(skip_slow)
Dann läuft pytest auf dem Laptop schnell, und pytest --runslow führt alles aus. In der CI: Führen Sie bei jedem PR -m "not slow" aus und die langsame Menge beim Merge in main oder nachts in einem separaten Job. Das ist für viele Python-Projekte die größte Einsparung. Übersprungene Tests werden als übersprungen angezeigt und bleiben so sichtbar. Sorgen Sie dafür, dass jemand für den langsamen Job verantwortlich ist; eine nie ausgeführte langsame Suite ist so gut wie keine Tests.
Parallel ausführen mit pytest-xdist
pip install pytest-xdist
pytest -n auto # one worker per CPU core
pytest -n 4 # fixed worker count
pytest -n auto --dist loadfile # keep tests from the same file together
-n auto nutzt alle Kerne, was auf einem Runner mit 2 vCPUs zwei Worker bedeutet. Tests müssen unabhängig sein: keine gemeinsamen Dateien, Ports oder Datenbankzeilen. Bei Datenbanken geben Sie jedem Worker eine eigene über das Fixture worker_id:
@pytest.fixture(scope="session")
def db_name(worker_id):
return "test" if worker_id == "master" else f"test_{worker_id}"
Fixtures mit scope="session" laufen einmal pro Worker, nicht einmal pro Durchlauf. Das ist erwartet, aber aufwendige Session-Fixtures vervielfachen sich mit der Worker-Anzahl. --dist loadscope gruppiert nach Modul oder Klasse und hilft, wenn Fixtures modulweit gelten.
Günstigere Fixtures
- Verwenden Sie
scope="module"oder"session"für aufwendiges, nur lesendes Setup. - Hüllen Sie Datenbanktests in eine Transaktion und setzen Sie sie zurück, statt Tabellen neu zu erstellen.
- Verwenden Sie In-Memory-SQLite nur, wenn die Semantik der Produktion es zulässt; andernfalls ist eine echte Datenbank in einem Container, der einmal pro Job startet, getreuer.
- Ersetzen Sie
time.sleepdurch eine simulierte Uhr (freezegunodertime-machine) oder durch ein Warten auf ein Ereignis. - Verwenden Sie lokal
pytest --lf(zuletzt fehlgeschlagen) und--ff(fehlgeschlagene zuerst).
Die Suite auf CI-Jobs aufteilen
xdist nutzt die Kerne eines einzelnen Runners. Um mehr Runner zu nutzen, teilen Sie die Suite auf. Plugins wie pytest-split weisen Tests anhand gespeicherter Laufzeiten Gruppen zu; pytest-shard und ähnliche sind weitere Optionen, prüfen Sie daher die README des jeweiligen Projekts auf aktuelle Flags. Mit pytest-split:
strategy:
fail-fast: false
matrix:
group: [1, 2, 3, 4]
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with: { python-version: "3.12", cache: pip }
- run: pip install -r requirements.txt pytest-split pytest-xdist
- run: pytest -n auto --splits 4 --group ${{ matrix.group }}
Erzeugen Sie die Laufzeiten einmal mit pytest --store-durations und committen Sie die Datei .test_durations, damit die Gruppen nach Zeit und nicht nach Anzahl ausgeglichen sind. Die allgemeine Methode, Kostenabwägungen und das Ausbalancieren finden Sie im Leitfaden zum Test-Sharding und im Planer.
Python-spezifische CI-Einrichtung
- Verwenden Sie
actions/setup-pythonmitcache: pip(oderuvmit dessen Cache), damit Abhängigkeitsinstallationen wiederhergestellt werden. - Installieren Sie für den Testjob nur die Test-Abhängigkeiten.
- Browsertests aus Python: Den Python-Abschnitt finden Sie unter langsame Playwright-Tests.
Mehr CPU
Wenn -n auto der Engpass ist, helfen mehr Kerne direkt, weil xdist mit ihnen skaliert. Siehe schnellere GitHub Actions Runner. compiler.dev war über 18 gemessene Stacks hinweg im Median 1.5× schneller (15 schneller, 2 gleich, 1 langsamer) als der 2-Kern-Runner von GitHub, und der Vergleichsmodus misst Ihre eigenen Jobs. Den Rest der Pipeline finden Sie im Hub für langsame CI.
FAQ
Wie markiere ich einen Test in pytest als langsam?
Versehen Sie ihn mit @pytest.mark.slow und registrieren Sie slow unter markers in pytest.ini, um Warnungen zu vermeiden.
Wie überspringe ich langsame Tests in pytest?
Führen Sie pytest -m "not slow" aus oder fügen Sie in conftest.py eine Option --runslow hinzu, die als langsam markierte Tests überspringt, sofern das Flag nicht gesetzt ist.
Wie führe ich nur langsame Tests aus?
pytest -m slow.
Ist pytest-xdist immer schneller?
Nicht bei sehr kleinen Suiten, bei denen der Start der Worker mehr kostet, als er spart, und nicht, wenn Tests einen gemeinsamen Zustand teilen. Bei Suiten ab einer Minute hilft es in der Regel deutlich.
Verwandt
- Docker-Build in der CI langsam? Ursache finden und behebenDocker-Build in CI zu langsam? Build-Kontext, .dockerignore, Layer-Reihenfolge, Cache-Misses und BuildKit prüfen und zuerst das größte Problem beheben.
- Cypress-Tests zu langsam? So beschleunigen Sie CypressCypress-Tests in CI langsam? Beschleunigen mit cy.session, Intercepts und ohne feste Wartezeiten sowie parallele Cypress-Tests in GitHub Actions.
- Instabile E2E-Tests: Ursachen und dauerhafte LösungenInstabile E2E-Tests beheben: falsche Wartezeiten, Testisolierung und gemeinsamer Datenbankstatus. Retries und Quarantäne nutzen, ohne Fehler zu verstecken.
- Jest langsam? Jest-Tests beschleunigen: Worker und --shardJest-Tests zu langsam? Beschleunigen Sie sie mit schnellerer TypeScript-Transformation, passender Worker-Anzahl und --shard in CI. Mit Konfiguration.