コンテンツへスキップ

DORA メトリクス:測定対象と方法

最終更新日

DORA指標は、2014年以来数万人の専門家を対象に調査を行ってきたDevOps Research and Assessment(DORA)プログラムに由来します。現在はGoogle Cloudの一部です。この指標は、チームがソフトウェアをどれだけ速く、かつどれだけ安定して提供しているかを測定します。適切に使えばボトルネックの特定に役立ちますが、誤って使えば、不正に操作される目標になってしまいます。本ガイドでは、各指標の定義、データの取得先、そしてその活用方法を説明します。

指標一覧

長く使われている「4つのキー」は、速度を測る2つの指標と、安定性を測る2つの指標で構成されています。

指標問い分類
デプロイ頻度本番環境へのデプロイはどのくらいの頻度で行われていますか?スループット
変更のリードタイムコミットから本番環境で稼働するまで、どのくらいの時間がかかりますか?スループット
変更失敗率デプロイのうち、対応を要する障害を引き起こしたものは何%ですか?安定性
サービス復旧時間失敗したデプロイやインシデントから復旧するまで、どのくらいの時間がかかりますか?安定性

2024年のDORAレポートでは、安定性の側面が見直されました。「サービス復旧時間」は「失敗したデプロイからの復旧時間」に改称され、新たに「デプロイの手戻り率」が加えられました。これは、本番環境の問題に対応するために計画外に行われたデプロイの割合です。研究では、これらの指標をスループット(リードタイム、デプロイ頻度、復旧時間)と安定性(変更失敗率、手戻り率)に分類しています。定義はこれまでにも変更されてきたため、最新の定義はDORAの公式サイトdora.devでご確認ください。

GitHubからの各指標の測定方法

すでに手元にあるデータから、すべての指標を算出できます。

デプロイ頻度。本番環境への成功したデプロイ回数を、日単位または週単位で数えます。データの取得元は、GitHub Deployments API、production環境にデプロイするワークフロー、またはリリースタグです。

gh api "repos/OWNER/REPO/deployments?environment=production&per_page=100" \
  --jq '[.[] | .created_at] | length'

公平な数値にするため、数えるのは本番環境へのデプロイのみにしてください。サービスを個別にデプロイしている場合は、サービスごとに数えてください。

変更のリードタイム。各変更について、最初のコミット(より簡易的な方法が必要な場合はPRのオープン時点)から、デプロイされた時点までの時間を計測します。一般的な近似式は次のとおりです。

lead time = deployment time - first commit time of the PR

平均値ではなく、中央値と90パーセンタイル値を報告してください。長期間残っているブランチがあると、平均値は歪みます。作業時間、レビュー待ち、CI時間、デプロイ待ちといった段階ごとに分けると、どこで時間がかかっているかが分かります。多くのチームでは、レビュー待ちとCI時間が最も大きな2つの要因です。GitHub Actionsの高速化もご覧ください。

変更失敗率。失敗したデプロイ数を、デプロイの総数で割った値です。失敗の定義を決め、一貫して適用する必要があります。例えば、ロールバック、24時間以内にデプロイされたホットフィックス、またはデプロイに起因するインシデントなどが該当します。インシデントには原因となったデプロイをタグ付けするか、ホットフィックスのPRにラベルを付けて集計してください。

失敗したデプロイからの復旧時間。失敗ごとに、デプロイから解決(修正のデプロイまたはロールバックの完了)までの時間を計測します。データはインシデント管理ツールから取得してください。中央値を使用してください。

デプロイの手戻り率。計画外のデプロイ数を、全デプロイ数で割った値です。ホットフィックスやロールバックのデプロイにラベルを付けて集計してください。

DORA指標計算ツールでは、上記4つの入力値を使って、DORAレポートのパフォーマンス帯と比較した結果を表示できます。信頼性の側面を確認する際には、エラーバジェット計算ツールも役立ちます。

ベンチマークが示すもの

DORAの2024年レポートでは、チームをパフォーマンスレベルに分類しています。最上位の「エリート」クラスタについては、リードタイムが1日未満、オンデマンドでのデプロイ(1日に複数回)、変更失敗率は約5%、復旧時間は1時間未満と記述されています。下位のクラスタは、いずれの軸においても遅くなっています。このレポートはアンケートの回答に基づくものであり、計測されたデータに基づくものではありません。また、作成者自身も、この帯を目標として扱うべきではないと注意を促しています。参考程度にご利用ください。

研究で得られた重要な知見として、速度と安定性はトレードオフの関係にないことが挙げられます。頻繁にデプロイしているチームは、失敗率も低い傾向にあります。小さな変更の方がレビュー、テスト、ロールバックを行いやすいためです。

信頼できる計測にするために

  • 用語を一度定義し、文書化してください。本番デプロイとみなす基準、失敗とみなす基準、リードタイムの起点を明確にします。
  • 全社平均ではなく、チームまたはサービス単位で計測してください。全社平均では、あらゆる問題が見えなくなります。
  • 中央値と分布を使ってください。平均が7日であるよりも、中央値が4日で90パーセンタイル値が30日であることの方が、多くのことを教えてくれます。
  • 収集を自動化してください。手作業で作成したスプレッドシートは、すぐに古くなります。APIから毎週データを取得し、ダッシュボードに反映させてください。
  • スナップショットではなく、傾向を見てください。8週間から12週間分のデータを確認してください。

避けるべき誤用

DORA指標は、チームのデリバリーの仕組みを表すものです。個人の生産性を測る指標ではなく、エンジニアやチームをこの指標でランク付けすると、不正操作を招きます。些細なデプロイに分割すればデプロイ頻度は水増しされ、失敗の定義を狭めれば、紙の上では失敗率が改善します。グッドハートの法則が当てはまります。指標が目標になると、その指標は良い指標ではなくなります。

指標は、問いを立てるために使ってください。例えば、3月にリードタイムが2倍になったのはなぜか、PRはどこで待たされているのか、失敗率が上昇する前に何を変更したのか、といった問いです。

各指標を改善する

改善するには確認するポイント
リードタイムPRのサイズ、レビューの待ち時間(CODEOWNERSとレビュー ルール)、CIの所要時間、手動承認、まとめてのリリース
デプロイ頻度自動デプロイ、フィーチャーフラグ、トランクベース開発、マージキュー
変更失敗率テストの品質、不安定なテスト、段階的なロールアウト、リスクの高い箇所のレビュー強化
復旧時間ロールバックの自動化、オブザーバビリティ、アラート、ランブック、オンコールのローテーション(ローテーション生成ツール)

見落とされがちですが、CIは最も効果の大きい要素です。CIに25分かかると、誰も小さな変更をプッシュしなくなります。CI遅延コスト計算ツールを使うと、待ち時間をコストとして把握できます。

その他のフレームワーク

DORAはデリバリーを対象としています。SPACEフレームワークは、満足度、コラボレーション、フローを加えます。開発者体験に関するアンケートでは、指標では捉えられない内容を把握できます。いくつかの定量的な指標と定期的なアンケートを組み合わせることをお勧めします。

よくある質問

DORA指標はどのくらいの頻度で確認すべきですか?

チームとしては月次で確認し、週次のダッシュボードも活用できます。四半期ごとのレビューでは、問題の発見が遅れてしまいます。

デプロイ頻度が低いのは問題ですか?

必ずしもそうとは限りません。規制のあるソフトウェアや、ストアの審査サイクルがあるモバイルアプリは、デプロイ頻度が低くなります。自社の過去の実績や制約と比較して判断してください。

ツールを使わずにDORA指標を算出できますか?

はい、GitHub APIとデプロイ用のワークフロー、インシデントのログを使えば可能です。リポジトリの数が多い場合は、専用ツールを使うと作業を大幅に減らせます。

CIの高速化は、どこに効果が表れますか?

主にリードタイムに表れ、間接的にデプロイ頻度にも影響します。チェックの遅さは、大きくリスクの高いまとめての変更を促す要因にもなります。

compiler.devの位置づけ

CIの時間は、習慣ではなくハードウェアを変えることで短縮できるリードタイムの一部です。compiler.devの比較モードでは、ワークフローをより高速なランナーで実行できるため、他の部分を変更する前に、自社のパイプラインへの効果を測定できます。

このワークフローを compiler.dev で実行する カード登録不要 · 200 無料分

無料で試す