Zum Inhalt springen

GitHub Actions Runner-Benchmarks

Diese Übersetzung dient nur Ihrer Information. Rechtlich verbindlich ist die englische Fassung. Englische Fassung

Dieselben Repositories und dieselben Workflows, ausgeführt auf GitHub-gehostetem ubuntu-latest und auf compiler.dev. Median 1.5× schneller über 18 gemessene Stacks (15 schneller, 2 gleich, 1 langsamer). Der beste Stack war 3.0× schneller (Angular + Spring Boot).

Gemessen am .

Gesamte CI-Laufzeit und Kosten pro Lauf, GitHub-gehostet vs. compiler.dev
StackGitHub-gehostetcompiler.devGeschwindigkeitKosten pro Lauf
Angular + Spring Boot (Gradle) + Postgres (JUnit + Playwright)6m 57s2m 18s3.0×$0.18 → $0.14 (−22%)
Remix + Drizzle + Postgres (Vitest + Playwright)3m 07s1m 18s2.4×$0.19 → $0.13 (−32%)
React + Go + Postgres (go test -race)6m 13s2m 42s2.3×$0.37 → $0.28 (−24%)
React + ASP.NET Core + SQL Server (xUnit)3m 34s1m 41s2.1×$0.17 → $0.20 (+18%)
Phoenix LiveView + Postgres (ExUnit)2m 07s1m 03s2.0×$0.13 → $0.10 (−23%)
Turborepo + Next.js + tRPC + MySQL (Vitest + Playwright)3m 29s1m 53s1.8×$0.17 → $0.17 (0%)
Next.js + Go + Kafka + Redis (docker compose)1m 16s0m 44s1.7×$0.13 → $0.11 (−15%)
SvelteKit + FastAPI + Postgres + Redis (pytest + Vitest)3m 46s2m 18s1.6×$0.21 → $0.22 (+5%)
Spring Boot (Maven) + Kafka + Postgres (Testcontainers)1m 54s1m 12s1.6×$0.12 → $0.11 (−8%)
React + Rust (Axum) + Postgres (cargo test)2m 37s1m 45s1.5×$0.16 → $0.14 (−12%)
Next.js + Supabase (Playwright)4m 03s2m 48s1.4×$0.26 → $0.23 (−12%)
Nx: Angular + NestJS + Postgres (Jest + Playwright)3 Min. 17 Sek.2 Min. 26 Sek.1.3×$0.25 → $0.23 (−8%)
Nuxt + Laravel + MySQL (Pest)2m 37s1 Min. 57 Sek.1.3×$0.13 → $0.15 (+15%)
Next.js + Express + Postgres (Vitest + Playwright)2 Min. 31 Sek.2 Min. 00 Sek.1.3×$0.19 → $0.19 (0%)
React (Vite) + NestJS + Postgres (Cypress)3 Min. 23 Sek.3 Min. 06 Sek.1.1×$0.19 → $0.16 (−16%)

Methode

Von der ersten eingereihten bis zur letzten abgeschlossenen Job-Ausführung: ein vollständiger CI-Lauf mit 10 Test-Shards und einer echten Datenbank. GitHub ubuntu-latest (2-Core, $0.006/min) vs. compiler.dev (8 vCPU, $0.008/min). Pro Stack 1 GitHub-Lauf und 1–2 compiler.dev-Läufe. Jeder Stack ist ein realistisches Anwendungs-Repository mit eigener Datenbank und eigener Test-Suite, kein synthetischer CPU-Test.

Von 18 gemessenen Stacks waren 15 schneller (oben dargestellt), 2 etwa gleich schnell und 1 langsamer (Single-Threaded pytest: Ein Job mit nur einem Thread profitiert nicht von mehr Kernen). Die Einzelwerte je Stack sind noch nicht veröffentlicht; ein weiterer Stack wurde noch gar nicht verglichen. Die Kernaussage lautet: median 1.5× schneller über 18 gemessene Stacks (15 schneller, 2 gleich, 1 langsamer). Wir führen die Fälle, die nicht schneller waren, auf, weil sie zeigen, wann sich ein Wechsel nicht lohnt.

Warum manche Stacks stärker profitieren

Jobs, die kompilieren (Gradle, Go mit -race, Remix- und Vite-Builds), oder Tests parallel ausführen, nutzen alle 8 vCPUs und profitieren am stärksten. Jobs, die überwiegend auf das Netzwerk warten oder nur einen Testprozess gleichzeitig ausführen, profitieren am wenigsten. Die Kosten pro Lauf können steigen, wenn ein Job kurz und einfädig ist, da jede Minute mehr kostet als eine Minute auf 2 Kernen. Mit dem Runner-Größen-Auswahlfeld können Sie Ihre eigenen Jobs prüfen.

Auf Ihrem Repository ausprobieren

Benchmarks mit fremdem Code sagen nur begrenzt etwas aus. Der Vergleichsmodus in der App führt eine Kopie Ihrer Jobs auf unseren Rechnern aus, während Ihre Ergebnisse weiterhin von Ihren eigenen Runnern stammen. So sehen Sie vor einem Wechsel beide Laufzeiten für Ihre eigenen Workflows. Starten Sie mit 200 kostenlosen Minuten oder lesen Sie compiler.dev vs. GitHub-gehostete Runner.

Daten: benchmarks.json (frei verwendbar mit Verweis auf diese Seite).