8.4 エンジニアリング指標プログラムの成熟度モデル

概要と動機

本書の第1部から第7部までのすべてのトピックは、そのトピックの特定の指標ファミリーに範囲を定めた独自の5段階の成熟度モデルで終わります。本トピックは異なることをします。それは一歩下がって、指標プログラム全体として成熟度がどのようなものかを問います。それらすべての個々の指標を一緒に生み出し、統治し、それに基づいて行動する組織的な能力です。組織は、個々のDORAの指標の成熟度ではレベル4でありながら、例えば優れた計測を持っているがガバナンスがない(トピック1.4)、あるいは優れた個々の指標を持っているが各指標がどれだけうまく設計されていたかにかかわらず根底にあるデータを汚染した恐怖主導の展開(トピック8.3)を持っている場合、プログラムの成熟度全体ではレベル1のままであることがあります。

本トピックのモデルは、本書がカバーするすべての個々の指標ファミリーを横断する5つの次元を中心に構築されています。ガバナンスと所有権(トピック1.4)、計測の品質(トピック1.5)、成果対アウトプットのバランス(トピック1.3、トピック7.4)、文化的な信頼(トピック8.3)、そして継続的な改善(本書の最初からトピック1.1が確立した廃止と改訂の規律)です。組織の全体的なプログラムの成熟度は、現実的にはこれらの5つの次元にわたる平均ではなく最小値です。なぜなら、特にどれか一つ、特に文化的な信頼における深刻な弱点は、まさにトピック8.3が直接論じたように、他のすべての強さの価値を損なう可能性があるからです。

大規模なチームにとって、この統合されたモデルは、リーダーシップに、本書全体で提供するトピックごとの成熟度の確認とは異なる、それを補完する、組織的な自己評価のための単一の正直な道具を与えます。ビジネスユニットにわたって指標の成熟度を比較する企業組織と、監督機関にプログラムの成熟度を報告する政府組織は、両方とも、45の別々のトピックレベルの成熟度の読み取りを自分たちで一貫した全体像に統合する必要がある代わりに、この単一の横断的な評価から恩恵を受けます。

重要な原則

プログラムの成熟度はその次元にわたる平均ではなく最小値である。 文化的な信頼における深刻な弱点は、他のすべての場所の強さを損ないます。
5つの横断的な次元はガバナンス、計測、成果のバランス、文化的な信頼、継続的な改善である。 各次元は多くの個々のトピックからの糸をまとめます。
このモデルは個々のトピックレベルの成熟度モデルを置き換えるのではなく補完する。 完全な全体像のために両方を一緒に使ってください。
自己評価は願望的ではなく正直で具体的であるべきである。 あなたが意図する場所ではなく、具体的な証拠を使って、あなたが実際にいる場所を採点してください。
レベル間の移動は単に時間が経過するだけでなく意図的な投資を必要とする。 成熟度は自動的には蓄積しません。

推奨事項

具体的な証拠を使って5つの次元それぞれを独立して評価する

ガバナンスについては、すべての重要な指標が名前のついた所有者と文書化された憲章を持っているかを確認してください(トピック1.4)。計測については、指標が可能な限り自己報告ではなく自動化された情報源から来ているかを確認してください(トピック1.5)。成果のバランスについては、あなたの主要なダッシュボードにおける成果加重の指標対アウトプット加重の指標の実際の比率を計算してください(トピック7.4)。文化的な信頼については、あなたの展開の歴史に指標の不適切な懲罰的な使用が一度でも含まれていたか、そしてそれがどう対処されたかを正直に評価してください(トピック8.3)。継続的な改善については、あなたの組織がもはやその価値に見合わなくなった指標を廃止してきた文書化された歴史を持っているかを確認してください(トピック1.1)。それらを組み合わせる前に各次元を独立して採点してください。

次元にわたる最小値をあなたの正直な全体的なスコアとして取る

あなたの5つの次元のスコアを単一のより良く見える複合値に平均化する誘惑に抵抗してください。優れた計測(レベル4)を持つが弱い文化的な信頼(レベル1)を持つプログラムは、意味のあるどんな意味でもレベル2あるいは3のプログラムではありません。弱い次元は強い次元の価値を積極的に損ないます。恐怖主導のゲーミングによって汚染された信頼できないデータは、優れた計測で収集されたことによって救われないからです。平均が生み出すよりも良く見えない全体像を生み出すとしても、最小値を正直に報告してください。

このモデルをトピックレベルのモデルの代わりにではなく、それと並んで使う

この統合されたモデルは「私たちの全体的なプログラムはどれだけ成熟しているか」に答えます。第2部から第8部までの個々のトピックレベルのモデルは「この特定の指標についての私たちの実践はどれだけ成熟しているか」に答えます。両方を一緒に使ってください。統合されたモデルを使ってどの横断的な次元が最も投資を必要とするかを優先順位づけ、トピックレベルのモデルを使ってその次元内でどの特定の指標ファミリーが最も注目を必要とするかを特定します。

単に危機に促されたときだけでなく、固定されたペースで評価を見直す

本書の一貫したガバナンスの規律(トピック1.4)に従い、危機(発見されたゲーミングのインシデント、信頼性を損なう公の報告)がその問いを強制した後だけでなく、定期的なペースで(年に一度が一般的です)プログラムの成熟度を再評価してください。自身の成熟度を反応的にのみ調べるプログラムは、弱まっている次元が本物の高くつくインシデントを生み出す前にそれを捕捉し対処する機会を逃します。

低いスコアを失敗の評価としてではなく投資の出発点として正直に扱う

本書全体のためにトピック1.1が確立した診断的であり評価的ではない枠組みづけに従い、どの次元についても低い成熟度のスコアを、それについて気分が悪くなる評決としてではなく、意図的な投資計画の出発点として使ってください(トピック8.5の採用のロードマップが直接の次のステップです)。正直に評価されたほとんどの組織は、このモデルのどこかに本物の弱点を見つけるでしょう。生産的な対応は的を絞った投資であり、スコアについての防御姿勢ではありません。

トレードオフ:長所と短所

アプローチ	長所	短所
5つの次元のスコアを平均化する	単一の単純でより良く見える数字を生み出す	一つの次元における重大な弱点が残りを損なっていることを隠す
次元にわたる最小値を取る	正直で実行可能、実際の制約を正しく特定する	一つの次元が他よりも著しく遅れている場合、落胆させるように感じられることがある
トピックレベルのモデルだけを使う	詳細で指標特有の指針	全体的なプログラムの健全性の横断的なビューを見逃す
この統合されたモデルだけを使う	単純で高レベル	トピックレベルのモデルが提供する特定の実行可能な詳細を見逃す

中心にある緊張関係は単純さと正直さであり、トピック5.5の誤って精密な単一数字への警告を反映しています。平均化されたスコアはより単純で報告しやすいですが、あなたのプログラムの全体的な信頼性と価値への実際の制約を積極的に隠します。この緊張を正直さに有利に解消してください。最小値を報告し、この統合されたモデルと個々のトピックレベルのモデルの両方を一緒に使って、完全で正確で実行可能な全体像を得てください。

チームで話し合うべき問い

正直かつ独立して評価すると、私たちの5つの次元、ガバナンス、計測、成果のバランス、文化的な信頼、継続的な改善のそれぞれは実際にどのレベルを採点するでしょうか。それらを全体的な評価に組み合わせる前に、印象ではなく具体的な証拠を使って、各次元を明示的にたどってください。
私たちの最も弱い次元は何で、それは私たちのプログラムの全体的な健全性についての直感と一致するでしょうか、それとも以前直接名指ししていなかった何かを明らかにするでしょうか。例えば、特に文化的な信頼における低いスコアは、技術的には優れているように見えるデータへの自信を損なうかもしれません。
私たちは、最も弱い次元を実際の制約として正直に報告するのではなく、強さと弱さをより良く見える全体像に平均化してきたでしょうか。 あなたの組織がこれまで自身の指標の成熟度についてどう語ってきたかについて正直になってください。
私たちが最後に正式に全体的なプログラムの成熟度を再評価したのはいつで、それは危機に促されたものだったでしょうか、それとも意図的な定期的なペースによるものだったでしょうか。危機に促されたものだけだったなら、今後定期的な評価のペースがどのようなものになるかを話し合ってください。
私たちの最も弱い次元への的を絞った投資は、次四半期について具体的にどのようなものになるでしょうか。 評価から行動に直接移り、本トピックの診断をトピック8.5の採用のロードマップに結びつけてください。
私たちの自己評価は、私たちの組織の外の誰かによる正直な外部レビューとどう比較されるでしょうか。 この問いは、あなたの内部の評価自体が、本書全体で警告してきた同じ楽観的なバイアスのいくつかにさらされているかもしれないかをテストします。本物に外部の視点で定期的に確認する価値があります。

業種別の視点

スタートアップ。 正式な5次元の評価は非常に小さな規模ではおそらく不要です。非公式な認識が通常このモデルが明らかにすることのほとんどをカバーするからです。早期に身につける価値のある習慣は、特に文化的な信頼について単に正直であることです。若い企業の早期の指標文化は、組織が大きく成長すると変えるのがはるかに難しくなる基盤を設定するからです。

中小企業。 年に一度、正式な採点なしであっても5つの次元を単純に正直に非公式にたどることは、この規模で構造化された評価プロセスを必要とせずに本トピックの価値のほとんどを捕捉します。

企業。 この統合されたモデルは、多くのビジネスユニットにわたって指標の成熟度を公平に比較するために特に価値があります。数十のチームにわたるトピックごとの比較は扱いにくいからです。それを使って、ユニット全体にわたって最も広範な弱点を示すどの次元にも組織全体の投資を優先順位づけてください。

政府。 この統合されたモデルを使った文書化された正直な成熟度の自己評価は、評価が願望的にではなく正直に実施されるなら、プログラムの厳密さを監督機関に実証するための本物に有用な成果物です。純粋に内部の視点から正確に評価するのが最も難しい文化的な信頼の次元について、特に自己評価自体の定期的な外部レビューを検討してください。

事例

企業。 ある物流技術会社の最初の自己評価は、その計測の次元をレベル4(パイプラインとシステムからの自動化された包括的なデータソーシング)と採点しましたが、その文化的な信頼の次元は、2年前の対処されなかった指標誤用のインシデント(直接認められたり修復されたりしたことが一度もなかった、トピック8.3の政府の例を直接反映しています)に続いてレベル1でした。リーダーシップの最初の本能は、これらを平均化して立派なレベル2あるいは3の全体像にすることでした。本トピックの最小値に基づく採点のより正直な適用は、文化的な信頼をプログラム全体の価値への実際の制約として正しく特定しました。過去のインシデントを認識しているエンジニアは、優れた計測でさえ、彼らがまだ完全には信頼せず正直に報告していないデータを生み出していたからです。トピック8.3の指針に直接従った文化的な信頼の修復への的を絞った投資は、この正直な最小値に基づく評価の直接の結果として、さらなる計測への投資よりも優先されました。

政府。 ある国家統計機関は、より広い技術ガバナンスのレビューの一部としてこの統合されたモデルを使って最初の正式な成熟度の自己評価を実施し、そのガバナンスの次元(明確な所有権、文書化された憲章)は良いスコアを得ましたが、その成果のバランスの次元は、機関の技術リーダーシップ内で第7部の成果加重の議論が知的には十分に理解されていたにもかかわらず、追跡される指標の圧倒的多数がアウトプットと活動に基づいているため、低いスコアでした。「私たちはもっと成果を測定すべきだ」という漠然とした一般的な感覚ではなく、この正直で具体的な発見は、機関のその後の投資計画(トピック8.5)に具体的で証拠に基づいた出発点を与え、機関の監督委員会へのフォローアップの報告は、この成熟度の評価を、方向転換された指標投資戦略の根拠として特に引用しました。

ビジネスケース:動機、ROI、総所有コスト

正直で最小値に基づいた成熟度の自己評価からの見返りは、すでに強い次元にさらに投資する一方で弱い次元がプログラム全体の信頼性を損ない続けるのではなく、指標プログラムの価値への実際の制約を正しく特定することです。これはまさに上記の両方の例が示すパターンです。この標的を絞る効果がこのモデルの主要な価値です。それは、投資がたまたま最も簡単あるいは最も馴染みのある場所に向かうのではなく、全体的なプログラムの成熟度を本物に動かす場所に限られた改善への投資を向けます。

総所有コストは、評価の努力自体であり、穏やかで定期的です。これは、すでに強い次元に投資し続ける一方で、対処されない弱い次元、特に文化的な信頼が、プログラムが構築した他のすべてのものの価値を静かに損ない続けるリスクと比較検討されます。

アンチパターンと落とし穴

次元のスコアをより良く見える複合値に平均化する。 プログラムの全体的な価値への実際の制約を隠します。
実際の実践ではなく述べられたポリシーに基づいて願望的にのみ評価する。 不正確で過度に楽観的な全体像を生み出します。
この統合されたモデルをトピックレベルのモデルの補完としてではなく代替として使う。 それらの個々のモデルが提供する特定の実行可能な詳細を失います。
危機がその問いを強制した後にのみ再評価する。 弱まっている次元を積極的に捕捉し対処する機会を逃します。
低いスコアを投資の出発点としてではなく失敗の評価として扱う。 本書が一貫して推奨する生産的で診断的な対応ではなく防御姿勢を招きます。
自己評価について一度も正直な外部の視点を求めない。 評価自体に影響を与える、本書全体で警告してきた同じ楽観的なバイアスのリスクを冒します。

成熟度モデル

レベル1、開始: 正式な横断的な評価は存在せず、個々の指標ファミリーは独立して評価されるかもしれませんが、全体的なプログラムの健全性は調べられていません。
レベル2、発展: 全体的なプログラムの強さと弱さについていくらかの非公式な認識が存在しますが、構造化された5次元の評価は実施されていません。
レベル3、標準化: 構造化され正直で最小値に基づいた5次元の評価が、具体的な証拠を使って組織全体で実施されています。
レベル4、管理: 評価は定期的なペースで繰り返され、その発見は的を絞った投資の優先順位に直接かつ一貫して情報を与えています。
レベル5、最適化: 組織は、定期的な外部レビューを含む、正直な自己評価の実証された持続的な実践を持ち、評価の発見が直接推進した特定の投資決定を指し示すことができます。

議論のためのアイデア

今、5つの次元それぞれについての私たちの正直で証拠に基づいたスコアは何でしょうか。
どの次元が私たちの実際の制約で、それは私たちの直感と一致するでしょうか。
私たちは最小値が示すものよりも、スコアをより良く見える全体像に平均化したことがあるでしょうか。
私たちが最後に正式に再評価したのはいつで、それは積極的だったでしょうか、それとも危機に駆動されたものだったでしょうか。
私たちの自己評価の正直な外部レビューはおそらく何を明らかにするでしょうか。

主な要点

プログラムの成熟度は5つの横断的な次元にわたります。ガバナンス、計測、成果のバランス、文化的な信頼、継続的な改善です。
全体的な成熟度は次元にわたる平均ではなく最小値です。 文化的な信頼における弱点は他のすべての場所の強さを損ないます。
この統合されたモデルを、本書全体の個々のトピックレベルの成熟度モデルの代わりにではなく、それと並んで使ってください。
危機がその問いを強制するまで待つのではなく、定期的なペースで再評価してください。
低いスコアを、本書全体の診断的な枠組みづけに従い、失敗の評価としてではなく正直な投資の出発点として扱ってください。

参考文献とさらなる読書

Capability Maturity Model Integration (CMMI), Software Engineering Institute。
Accelerate: The Science of Lean Software and DevOps, Nicole Forsgren、Jez Humble、Gene Kim 著。
Measuring and Managing Performance in Organizations, Robert D. Austin 著。
The Fifth Discipline: The Art and Practice of the Learning Organization, Peter M. Senge 著。