Saltar al contenido

Benchmarks de runners de GitHub Actions

Esta traducción se ofrece solo como cortesía. La versión jurídicamente vinculante es la versión en inglés. Versión en inglés

Los mismos repositorios y los mismos workflows, ejecutados en ubuntu-latest alojado en GitHub y en compiler.dev. Mediana 1.5× más rápido en 18 stacks medidos (15 más rápidos, 2 iguales, 1 más lento). El mejor stack fue 3.0× más rápido (Angular + Spring Boot).

Medido el .

Tiempo total de CI y coste por ejecución, alojado por GitHub frente a compiler.dev
StackAlojados en GitHubcompiler.devVelocidadCoste por ejecución
Angular + Spring Boot (Gradle) + Postgres (JUnit + Playwright)6m 57s2m 18s3.0×$0.18 → $0.14 (−22%)
Remix + Drizzle + Postgres (Vitest + Playwright)3m 07s1m 18s2.4×$0.19 → $0.13 (−32%)
React + Go + Postgres (go test -race)6m 13s2m 42s2.3×$0.37 → $0.28 (−24%)
React + ASP.NET Core + SQL Server (xUnit)3m 34s1m 41s2.1×$0.17 → $0.20 (+18%)
Phoenix LiveView + Postgres (ExUnit)2m 07s1m 03s2.0×$0.13 → $0.10 (−23%)
Turborepo + Next.js + tRPC + MySQL (Vitest + Playwright)3m 29s1m 53s1.8×$0.17 → $0.17 (0%)
Next.js + Go + Kafka + Redis (docker compose)1m 16s0m 44s1.7×$0.13 → $0.11 (−15%)
SvelteKit + FastAPI + Postgres + Redis (pytest + Vitest)3m 46s2m 18s1.6×$0.21 → $0.22 (+5%)
Spring Boot (Maven) + Kafka + Postgres (Testcontainers)1m 54s1m 12s1.6×$0.12 → $0.11 (−8%)
React + Rust (Axum) + Postgres (cargo test)2m 37s1m 45s1.5×$0.16 → $0.14 (−12%)
Next.js + Supabase (Playwright)4m 03s2m 48s1.4×$0.26 → $0.23 (−12%)
Nx: Angular + NestJS + Postgres (Jest + Playwright)3m 17s2m 26s1.3×$0.25 → $0.23 (−8%)
Nuxt + Laravel + MySQL (Pest)2m 37s1m 57s1.3×$0.13 → $0.15 (+15%)
Next.js + Express + Postgres (Vitest + Playwright)2m 31s2m 00s1.3×$0.19 → $0.19 (0%)
React (Vite) + NestJS + Postgres (Cypress)3m 23s3m 06s1.1×$0.19 → $0.16 (−16%)

Método

Desde la primera tarea en cola hasta la última tarea terminada, una ejecución completa de CI con 10 particiones de pruebas y una base de datos real. GitHub ubuntu-latest (2 núcleos, $0.006/min) frente a compiler.dev (8 vCPU, $0.008/min). 1 ejecución en GitHub y 1-2 ejecuciones en compiler.dev por stack. Cada stack es un repositorio de aplicación realista con su propia base de datos y su propia suite de pruebas, no una prueba sintética de CPU.

De los 18 stacks medidos, 15 fueron más rápidos (mostrados arriba), 2 tuvieron prácticamente el mismo tiempo y 1 fue más lento (pytest de un solo hilo: una tarea de un solo hilo no se beneficia de más núcleos). Las cifras por stack aún no se han publicado; otro stack no se ha comparado todavía. El resultado principal es una mediana de 1.5× más rápido en los 18 stacks medidos (15 más rápidos, 2 iguales, 1 más lento). Incluimos los casos que no fueron más rápidos porque le indican cuándo no conviene cambiar.

Por qué algunos stacks ganan más

Las tareas que compilan (Gradle, Go con -race, compilaciones de Remix y Vite) o que ejecutan pruebas en paralelo usan los 8 vCPU y obtienen las mayores mejoras. Las tareas que pasan la mayor parte del tiempo esperando la red o que ejecutan un solo proceso de pruebas a la vez obtienen las menores. El coste por ejecución puede aumentar cuando una tarea es corta y de un solo hilo, porque cada minuto cuesta más que un minuto de 2 núcleos. El selector de tamaño de runner le ayuda a comprobar sus propias tareas.

Pruébelo en su repositorio

Los benchmarks con código de otras personas tienen un alcance limitado. El modo de comparación de la aplicación ejecuta una copia de sus tareas en nuestras máquinas, mientras que sus resultados siguen procediendo de sus propios runners, de modo que puede ver ambos tiempos en sus propios workflows antes de cambiar. Empiece con 200 minutos gratuitos o lea compiler.dev frente a runners alojados en GitHub.

Datos: benchmarks.json (de uso libre con un enlace a esta página).