GitHub Actions Runner-Benchmarks
Diese Übersetzung dient nur Ihrer Information. Rechtlich verbindlich ist die englische Fassung. Englische Fassung
Dieselben Repositories und dieselben Workflows, ausgeführt auf GitHub-gehostetem ubuntu-latest und auf compiler.dev. Median 1.5× schneller über 18 gemessene Stacks (15 schneller, 2 gleich, 1 langsamer). Der beste Stack war 3.0× schneller (Angular + Spring Boot).
Gemessen am .
| Stack | GitHub-gehostet | compiler.dev | Geschwindigkeit | Kosten pro Lauf |
|---|---|---|---|---|
| Angular + Spring Boot (Gradle) + Postgres (JUnit + Playwright) | 6m 57s | 2m 18s | 3.0× | $0.18 → $0.14 (−22%) |
| Remix + Drizzle + Postgres (Vitest + Playwright) | 3m 07s | 1m 18s | 2.4× | $0.19 → $0.13 (−32%) |
| React + Go + Postgres (go test -race) | 6m 13s | 2m 42s | 2.3× | $0.37 → $0.28 (−24%) |
| React + ASP.NET Core + SQL Server (xUnit) | 3m 34s | 1m 41s | 2.1× | $0.17 → $0.20 (+18%) |
| Phoenix LiveView + Postgres (ExUnit) | 2m 07s | 1m 03s | 2.0× | $0.13 → $0.10 (−23%) |
| Turborepo + Next.js + tRPC + MySQL (Vitest + Playwright) | 3m 29s | 1m 53s | 1.8× | $0.17 → $0.17 (0%) |
| Next.js + Go + Kafka + Redis (docker compose) | 1m 16s | 0m 44s | 1.7× | $0.13 → $0.11 (−15%) |
| SvelteKit + FastAPI + Postgres + Redis (pytest + Vitest) | 3m 46s | 2m 18s | 1.6× | $0.21 → $0.22 (+5%) |
| Spring Boot (Maven) + Kafka + Postgres (Testcontainers) | 1m 54s | 1m 12s | 1.6× | $0.12 → $0.11 (−8%) |
| React + Rust (Axum) + Postgres (cargo test) | 2m 37s | 1m 45s | 1.5× | $0.16 → $0.14 (−12%) |
| Next.js + Supabase (Playwright) | 4m 03s | 2m 48s | 1.4× | $0.26 → $0.23 (−12%) |
| Nx: Angular + NestJS + Postgres (Jest + Playwright) | 3 Min. 17 Sek. | 2 Min. 26 Sek. | 1.3× | $0.25 → $0.23 (−8%) |
| Nuxt + Laravel + MySQL (Pest) | 2m 37s | 1 Min. 57 Sek. | 1.3× | $0.13 → $0.15 (+15%) |
| Next.js + Express + Postgres (Vitest + Playwright) | 2 Min. 31 Sek. | 2 Min. 00 Sek. | 1.3× | $0.19 → $0.19 (0%) |
| React (Vite) + NestJS + Postgres (Cypress) | 3 Min. 23 Sek. | 3 Min. 06 Sek. | 1.1× | $0.19 → $0.16 (−16%) |
Methode
Von der ersten eingereihten bis zur letzten abgeschlossenen Job-Ausführung: ein vollständiger CI-Lauf mit 10 Test-Shards und einer echten Datenbank. GitHub ubuntu-latest (2-Core, $0.006/min) vs. compiler.dev (8 vCPU, $0.008/min). Pro Stack 1 GitHub-Lauf und 1–2 compiler.dev-Läufe. Jeder Stack ist ein realistisches Anwendungs-Repository mit eigener Datenbank und eigener Test-Suite, kein synthetischer CPU-Test.
Von 18 gemessenen Stacks waren 15 schneller (oben dargestellt), 2 etwa gleich schnell und 1 langsamer (Single-Threaded pytest: Ein Job mit nur einem Thread profitiert nicht von mehr Kernen). Die Einzelwerte je Stack sind noch nicht veröffentlicht; ein weiterer Stack wurde noch gar nicht verglichen. Die Kernaussage lautet: median 1.5× schneller über 18 gemessene Stacks (15 schneller, 2 gleich, 1 langsamer). Wir führen die Fälle, die nicht schneller waren, auf, weil sie zeigen, wann sich ein Wechsel nicht lohnt.
Warum manche Stacks stärker profitieren
Jobs, die kompilieren (Gradle, Go mit -race, Remix- und Vite-Builds), oder Tests parallel ausführen, nutzen alle 8 vCPUs und profitieren am stärksten. Jobs, die überwiegend auf das Netzwerk warten oder nur einen Testprozess gleichzeitig ausführen, profitieren am wenigsten. Die Kosten pro Lauf können steigen, wenn ein Job kurz und einfädig ist, da jede Minute mehr kostet als eine Minute auf 2 Kernen. Mit dem Runner-Größen-Auswahlfeld können Sie Ihre eigenen Jobs prüfen.
Auf Ihrem Repository ausprobieren
Benchmarks mit fremdem Code sagen nur begrenzt etwas aus. Der Vergleichsmodus in der App führt eine Kopie Ihrer Jobs auf unseren Rechnern aus, während Ihre Ergebnisse weiterhin von Ihren eigenen Runnern stammen. So sehen Sie vor einem Wechsel beide Laufzeiten für Ihre eigenen Workflows. Starten Sie mit 200 kostenlosen Minuten oder lesen Sie compiler.dev vs. GitHub-gehostete Runner.
Daten: benchmarks.json (frei verwendbar mit Verweis auf diese Seite).