コンテンツへスキップ

GitHub Actions ランナーのベンチマーク

この翻訳は参考情報です。法的拘束力を持つのは英語版です。 英語版

同じリポジトリと同じワークフローを、GitHub ホステッドの ubuntu-latest と compiler.dev でそれぞれ実行しました。計測した 18 スタックの中央値は 1.5× 高速でした(15 件が高速、2 件が同等、1 件が低速)。最も速かったスタックは 3.0× 高速でした(Angular + Spring Boot)。

計測日:。

CI 全体の実行時間と実行あたりのコスト:GitHub ホステッド と compiler.dev の比較
スタックGitHub提供compiler.dev速度実行あたりのコスト
Angular + Spring Boot (Gradle) + Postgres (JUnit + Playwright)6m 57s2m 18s3.0×$0.18 → $0.14 (−22%)
Remix + Drizzle + Postgres (Vitest + Playwright)3m 07s1m 18s2.4×$0.19 → $0.13 (−32%)
React + Go + Postgres (go test -race)6m 13s2m 42s2.3×$0.37 → $0.28 (−24%)
React + ASP.NET Core + SQL Server (xUnit)3m 34s1m 41s2.1×$0.17 → $0.20 (+18%)
Phoenix LiveView + Postgres (ExUnit)2m 07s1m 03s2.0×$0.13 → $0.10 (−23%)
Turborepo + Next.js + tRPC + MySQL (Vitest + Playwright)3m 29s1m 53s1.8×$0.17 → $0.17 (0%)
Next.js + Go + Kafka + Redis (docker compose)1m 16s0m 44s1.7×$0.13 → $0.11 (−15%)
SvelteKit + FastAPI + Postgres + Redis (pytest + Vitest)3m 46s2m 18s1.6×$0.21 → $0.22 (+5%)
Spring Boot (Maven) + Kafka + Postgres (Testcontainers)1m 54s1m 12s1.6×$0.12 → $0.11 (−8%)
React + Rust (Axum) + Postgres (cargo test)2m 37s1m 45s1.5×$0.16 → $0.14 (−12%)
Next.js + Supabase (Playwright)4m 03s2m 48s1.4×$0.26 → $0.23 (−12%)
Nx: Angular + NestJS + Postgres (Jest + Playwright)3m 17s2m 26s1.3×$0.25 → $0.23 (−8%)
Nuxt + Laravel + MySQL (Pest)2m 37s1m 57s1.3×$0.13 → $0.15 (+15%)
Next.js + Express + Postgres (Vitest + Playwright)2m 31s2m 00s1.3×$0.19 → $0.19 (0%)
React (Vite) + NestJS + Postgres (Cypress)3m 23s3m 06s1.1×$0.19 → $0.16 (−16%)

調査方法

最初のジョブのキュー投入から最後のジョブの完了まで、10個のテストシャードと実際のデータベースを使った完全なCI実行を計測しています。GitHubのubuntu-latest(2コア、$0.006/min)とcompiler.dev(8 vCPU、$0.008/min)を比較しています。スタックごとに、GitHubでは1回、compiler.devでは1〜2回実行しています。各スタックは、専用のデータベースとテストスイートを備えた実際的なアプリケーションリポジトリであり、合成的なCPUテストではありません。

計測した18スタックのうち、15スタックは高速化され(上記)、2スタックはほぼ同等、1スタックは低速でした(シングルスレッドのpytest:シングルスレッドのジョブは、コアを増やしても恩恵がありません)。スタックごとの数値はまだ公開していません。さらに1スタックは比較を行っていません。総合的な結果は、計測した18スタックの中央値で1.5倍の高速化です(高速化15、同等2、低速1)。高速化されなかったケースも掲載しています。どのような場合に切り替えるべきでないかを判断する材料になるためです。

スタックによって高速化の度合いが異なる理由

コンパイルを伴うジョブ(Gradle、-raceを使うGo、RemixやViteのビルド)や、テストを並列実行するジョブは、8 vCPUをすべて使うため、最も高速化されます。主にネットワークの待ち時間が占めるジョブや、一度に1つのテストプロセスしか動かさないジョブは、高速化の度合いが小さくなります。ジョブが短く、かつシングルスレッドの場合は、2コアの1分あたりの料金より1分あたりの料金が高くなるため、1回の実行あたりのコストが上がることがあります。自分のジョブを確認するには、ランナーサイズの選択機能が役立ちます。

自分のリポジトリで試す

他者のコードでのベンチマークには限界があります。アプリの比較モードでは、ジョブのコピーを当社のマシンで実行しつつ、結果は自分のランナーから得られるため、切り替える前に自分のワークフローで両方の実行時間を確認できます。200分の無料枠から始めるか、compiler.devとGitHubホステッドランナーの比較をご覧ください。

データ:benchmarks.json(このページへのリンクを添えれば自由に再利用できます)。