GitHub Actions ランナーのベンチマーク
この翻訳は参考情報です。法的拘束力を持つのは英語版です。 英語版
同じリポジトリと同じワークフローを、GitHub ホステッドの ubuntu-latest と compiler.dev でそれぞれ実行しました。計測した 18 スタックの中央値は 1.5× 高速でした(15 件が高速、2 件が同等、1 件が低速)。最も速かったスタックは 3.0× 高速でした(Angular + Spring Boot)。
計測日:。
| スタック | GitHub提供 | compiler.dev | 速度 | 実行あたりのコスト |
|---|---|---|---|---|
| Angular + Spring Boot (Gradle) + Postgres (JUnit + Playwright) | 6m 57s | 2m 18s | 3.0× | $0.18 → $0.14 (−22%) |
| Remix + Drizzle + Postgres (Vitest + Playwright) | 3m 07s | 1m 18s | 2.4× | $0.19 → $0.13 (−32%) |
| React + Go + Postgres (go test -race) | 6m 13s | 2m 42s | 2.3× | $0.37 → $0.28 (−24%) |
| React + ASP.NET Core + SQL Server (xUnit) | 3m 34s | 1m 41s | 2.1× | $0.17 → $0.20 (+18%) |
| Phoenix LiveView + Postgres (ExUnit) | 2m 07s | 1m 03s | 2.0× | $0.13 → $0.10 (−23%) |
| Turborepo + Next.js + tRPC + MySQL (Vitest + Playwright) | 3m 29s | 1m 53s | 1.8× | $0.17 → $0.17 (0%) |
| Next.js + Go + Kafka + Redis (docker compose) | 1m 16s | 0m 44s | 1.7× | $0.13 → $0.11 (−15%) |
| SvelteKit + FastAPI + Postgres + Redis (pytest + Vitest) | 3m 46s | 2m 18s | 1.6× | $0.21 → $0.22 (+5%) |
| Spring Boot (Maven) + Kafka + Postgres (Testcontainers) | 1m 54s | 1m 12s | 1.6× | $0.12 → $0.11 (−8%) |
| React + Rust (Axum) + Postgres (cargo test) | 2m 37s | 1m 45s | 1.5× | $0.16 → $0.14 (−12%) |
| Next.js + Supabase (Playwright) | 4m 03s | 2m 48s | 1.4× | $0.26 → $0.23 (−12%) |
| Nx: Angular + NestJS + Postgres (Jest + Playwright) | 3m 17s | 2m 26s | 1.3× | $0.25 → $0.23 (−8%) |
| Nuxt + Laravel + MySQL (Pest) | 2m 37s | 1m 57s | 1.3× | $0.13 → $0.15 (+15%) |
| Next.js + Express + Postgres (Vitest + Playwright) | 2m 31s | 2m 00s | 1.3× | $0.19 → $0.19 (0%) |
| React (Vite) + NestJS + Postgres (Cypress) | 3m 23s | 3m 06s | 1.1× | $0.19 → $0.16 (−16%) |
調査方法
最初のジョブのキュー投入から最後のジョブの完了まで、10個のテストシャードと実際のデータベースを使った完全なCI実行を計測しています。GitHubのubuntu-latest(2コア、$0.006/min)とcompiler.dev(8 vCPU、$0.008/min)を比較しています。スタックごとに、GitHubでは1回、compiler.devでは1〜2回実行しています。各スタックは、専用のデータベースとテストスイートを備えた実際的なアプリケーションリポジトリであり、合成的なCPUテストではありません。
計測した18スタックのうち、15スタックは高速化され(上記)、2スタックはほぼ同等、1スタックは低速でした(シングルスレッドのpytest:シングルスレッドのジョブは、コアを増やしても恩恵がありません)。スタックごとの数値はまだ公開していません。さらに1スタックは比較を行っていません。総合的な結果は、計測した18スタックの中央値で1.5倍の高速化です(高速化15、同等2、低速1)。高速化されなかったケースも掲載しています。どのような場合に切り替えるべきでないかを判断する材料になるためです。
スタックによって高速化の度合いが異なる理由
コンパイルを伴うジョブ(Gradle、-raceを使うGo、RemixやViteのビルド)や、テストを並列実行するジョブは、8 vCPUをすべて使うため、最も高速化されます。主にネットワークの待ち時間が占めるジョブや、一度に1つのテストプロセスしか動かさないジョブは、高速化の度合いが小さくなります。ジョブが短く、かつシングルスレッドの場合は、2コアの1分あたりの料金より1分あたりの料金が高くなるため、1回の実行あたりのコストが上がることがあります。自分のジョブを確認するには、ランナーサイズの選択機能が役立ちます。
自分のリポジトリで試す
他者のコードでのベンチマークには限界があります。アプリの比較モードでは、ジョブのコピーを当社のマシンで実行しつつ、結果は自分のランナーから得られるため、切り替える前に自分のワークフローで両方の実行時間を確認できます。200分の無料枠から始めるか、compiler.devとGitHubホステッドランナーの比較をご覧ください。
データ:benchmarks.json(このページへのリンクを添えれば自由に再利用できます)。