5.5 エンジニアリングの取り組みへの投資収益率

概要と動機

本トピックは、前の4つのトピックが測定したすべてのこと、品質、採用、成果、コストを、ほとんどの主要なエンジニアリングの投資決定を最終的に支配する単一の財務的な枠組み、投資収益率(ROI)にまとめることで第5部を締めくくります。組織がプラットフォームの近代化、大規模なリファクタリングの取り組み、あるいは新しい製品ラインに資金を提供することを決定しているかにかかわらず、誰かが最終的に財務的な言葉でその問いに答えなければなりません。これはそのコストに見合う価値があるでしょうか。本トピックは、その問いを、それをうまく答える備えがより少ない人々に投資決定への影響力を譲ってしまう問いを避けることでも、成り立たないときに信頼性を損なう誇張され持続不可能な事例でそれに答えることでもなく、本書がすでに構築した指標を使って正直に答えることについてです。

本トピックが推奨する規律は、方程式のコスト側についてはトピック5.4の単位経済性に、利益側については、帰属の不確実性への正直な扱いを伴うトピック5.3の成果の指標に直接基づいています。この方法で構築されたROIの事例は、単純で魅力的な見出しの数字よりも必然的に控えめでヘッジされていますが、本書全体を通じて強調してきた決定的な利点を持っています。それは精査を生き延びるということです。そして、一貫して擁護可能なROIの事例を構築する組織は、時折過剰に約束する組織よりも、将来の投資決定においてより多くの信頼、したがってより多くの自律性を獲得します。

大規模なチームにとって、ROIの規律は、戦略的パートナーとして扱われるエンジニアリング組織と、その支出が積極的に投資されるのではなく許容されるだけのコストセンターとして扱われるエンジニアリング組織を分けるものです。企業組織は、厳密なROIの事例を使って、他のビジネス投資と資本を巡って成功裏に競争します。政府組織は、しばしば費用便益分析として再枠組みづけされる同等の規律を使って、曖昧で根拠のない約束にほとんど我慢できない政治的および予算的なプレッシャーに対して公共の技術資金を確保し維持します。

重要な原則

正直なROIの事例は本書の他の指標から構築される。 別々に発明されるのではありません。コストはトピック5.4から、利益はトピック5.1からトピック5.3からです。
アップフロントのコストだけでなく、総所有コストがコスト側に属する。 継続的な保守、サポート、インフラのコストはシステムの寿命にわたって複利で増えます。
利益の見積もりは不確実性を伴う。単一の誤って精密な数字を提示するのではなく、それを明示的に述べてください。
負あるいは限界的なROIの発見は正当で有用な成果である。 この規律は、すでに下された決定を正当化するためではなく、正直に決定に情報を与えるために存在します。
事後に実際のROIを追跡してください。事前の予測された事例だけではありません。 現実と照らし合わせて一度も確認されない予測は組織に何も教えません。

推奨事項

アップフロントの投資だけでなく総所有コストからコスト側を構築する

初期の開発コストだけでなく、完全な総所有コスト(TCO)を含めてください。継続的な保守、インフラ(トピック5.4の単位経済性がここで直接役立ちます)、サポート、そしてその取り組みが消費するエンジニアリングの容量の機会費用、代替の仕事に向けられたかもしれないものです。アップフロントのコストだけに基づくと安く見えるプロジェクトは、継続的な保守負担が正直に考慮されると、その全寿命にわたって高くつく可能性があります。

文書化された正直な成果の証拠から利益側を構築する

トピック5.1からトピック5.3の成果測定の規律から利益の見積もりを導き出してください。品質の改善をインシデントとサポートのコストの削減に変換し、採用データを利用主導の価値に変換し、ビジネスの成果の相関関係を、トピック5.3の正直で交絡因子を確認した因果連鎖のアプローチで構築します。実際の測定された、あるいは比較可能な過去のデータが代わりにそれを根拠づけるために利用可能なときに、第一原理や楽観的な仮定から利益の見積もりを発明することを避けてください。

単一の数字ではなく範囲を使って不確実性を明示的に述べる

ROIの見積もりを、単一の誤って精密な数字としてではなく、範囲(保守的なケースと楽観的なケース)として提示し、何がその範囲を動かすかを説明してください。どの特定の仮定が、楽観的あるいは悲観的であることが判明した場合に成果を最も動かすかです。これは、トピック1.6の統計リテラシーの原則を財務予測に直接適用したものであり、事例の信頼性を保護します。なぜなら、間違っていることが判明した単一の点推定は、実際の成果がその範囲内に収まるよく説明された範囲よりもはるかに多くの信頼を損なうからです。

負あるいは限界的な発見を正当な結果として扱う

あなたのROI分析プロセスを「これは価値がない」と結論づける本物の能力を持つように構築し、その結論を、証拠がそれを支持するとき、分析の失敗としてではなく価値のある成果として扱ってください。取り組みにかかわらず常に肯定的なROIの事例しか生み出さないことで知られる組織は、すぐに信頼性を失います。なぜなら、ステークホルダーは、その分析がそれが情報を与えることになっている決定から実際には独立していないと正しく推論するからです。

投資された範囲に対して実際の成果を追跡し、公に結果を閉じる

取り組みが完了したら、あるいは意味のあるマイルストーンに到達したら、実際の測定された成果を元の予測された範囲と比較し、その比較を、予測が間違っていた場所を含めて公開してください。トピック3.7の調査のフォローアップの推奨事項に似たこの結果を閉じる規律は、組織の長期的なROI予測の信頼性を構築し、本物の目に見えるフィードバックループを作ることによって将来の見積もりの正確さを改善するものです。

トレードオフ:長所と短所

アプローチ	長所	短所
単純な単一数字のROIの主張	説得力があり伝えやすい	誤って精密。間違っている脆弱性があり信頼性を損なう
述べられた不確実性を伴う範囲ベースのROI	擁護可能で精査を生き延び、何が範囲を動かすかについて正直	提示がより複雑。より多くの分析的な努力が必要
アップフロントのコストのみの分析	単純で素早く作成できる	継続的な保守とサポートの負担を省略することで真のコストを過小評価する
完全な総所有コストの分析	正確で完全な真の投資コストの全体像	より多くのデータ収集が必要、特に継続的なコストの予測のため

中心にある緊張関係は説得力のある単純さと擁護可能な正直さです。これはトピック5.3が一般的に成果の主張について名づけた同じ緊張であり、今度は特に財務的な事例に適用されます。単純で自信に満ちた単一数字のROIの主張は、その瞬間の意思決定者に売り込みやすいですが、明示的な不確実性と完全な総所有コストの会計を伴う正直で範囲ベースの事例こそが、投資の寿命にわたって実際に成り立ち、次に必要になる事例のために組織の信頼性を保護するものです。

チームで話し合うべき問い

私たちの最後の主要なエンジニアリング投資の事例について、私たちは総所有コストを考慮したでしょうか、それともアップフロントの開発コストだけでしょうか。元の事例を見直し、継続的な保守とインフラのコストが含まれていたかを確認し、含まれていなかったなら、それらがどれだけ加わったかを見積もってください。
私たちの利益の見積もりは文書化され測定された成果の証拠に基づいていたでしょうか、それとも楽観的な仮定から構築されたでしょうか。 最近の事例の利益側をその実際の証拠源に遡って追跡し、それが実際にどれだけ根拠づけられていたかを正直に評価してください。
私たちは範囲の方がより正直だったであろうときに、ROIの見積もりを単一の数字として提示したことがあるでしょうか。 最近の事例についてその範囲がどのようなものであったかを話し合い、どの特定の仮定がその範囲の幅を動かしたかを話し合ってください。
私たちのROI分析プロセスは、取り組みが追求する価値がないと結論づけたことがあるでしょうか、そしてその結論はどう受け止められたでしょうか。過去のすべての分析が肯定的に結論づけてきたなら、それが本物に健全な取り組みの選択を反映しているのか、それともステークホルダーが聞きたい答えだけを生み出すプロセスを反映しているのかを正直に話し合ってください。
完了した取り組みについて、私たちは実際の成果を元の予測された事例と比較するために戻ったことがあるでしょうか。 していないなら、実際の完了した取り組みを一つ選び、予測と現実のギャップがどれほど不快なものであっても、グループの演習として今この比較を行ってください。
私たちの次の主要なROIの事例を、エンジニアリングの外からの本物の懐疑的な精査の下で擁護可能にするには何が必要でしょうか。 次の計画された事例をたどり、それが意思決定者に届く前に、現在の証拠の連鎖の中で最も弱いつながりを特定してください。

業種別の視点

スタートアップ。 正式なROI分析は、しばしばより単純な生存と成長の問いよりも関連性が低いです。この投資は私たちが次のマイルストーンや資金調達ラウンドに到達するのを助けるでしょうか。それでも同じ正直さの原則を適用し、チームがすでに感情的にコミットしている決定を正当化するために事例を誇張することに抵抗してください。投資家の精査は、最終的に本トピックが最初に内部で適用することを推奨する同じ懐疑を適用するからです。

中小企業。 ROI分析を決定の大きさに比例させてください。大規模な複数年にわたるプラットフォーム投資は本トピックが推奨する完全な規律に値しますが、小さなツールの購入は同じ厳密さを必要としません。あなたのいくつかの最大の最も重大な決定に正式な分析の努力を集中させてください。

企業。 この規模でのROIの規律は、エンジニアリングが、より確立された財務分析の伝統を持つ他のビジネス投資に対して資本を巡って成功裏に競争するかどうかを決定するものです。本トピックが推奨する完全な総所有コストと範囲ベースの規律を標準的な実践として構築し、長期的な予測の信頼性を構築する結果を閉じる追跡に投資してください。

政府。 費用便益分析、ROIの公共部門版は、頻繁に予算の正当化の正式で必要な部分であり、発見が外部の監査あるいは立法の精査に直面する可能性がある場合、不確実性と総所有コストについての正直さは特に重要です。利益を誇張したあるいはコストを過小評価した分析は、一度発見されると、プログラムの資金提供機関との信頼性に永続的な損害を与えます。

事例

企業。 ある物流技術会社のエンジニアリングのリーダーシップは、レガシーのモノリスをマイクロサービスアーキテクチャに移行する大規模な投資を提案し、当初は主に予測されたデプロイ頻度の改善に基づいた単一の楽観的なROIの数字を提示しました。財務のステークホルダーの懐疑的な質問は、その事例が新しいアーキテクチャがもたらすであろう相当な継続的な運用の複雑さとインフラのコストを考慮していなかったことを明らかにしました。完全な総所有コストと、保守的と楽観的の両方の提供改善のシナリオを反映した範囲で構築された改訂された事例は、より控えめだが依然として肯定的な期待される収益を示し、重要なことに、財務チームの精査を生き延び、資金提供を確保しました。元の誇張された事例はおそらくそうならなかったであろう場所でです。

政府。 ある州政府の裁判所記録のデジタル化プログラムは、単一の正確なROIの数字を伴う、行政コストの削減だけを中心に当初の費用便益の事例を構築しました。独立した予算局のレビューは、その予測が市民側の時間の節約や法的手続きにおけるエラー率の削減を考慮していなかったことを発見しました。これらは本物だが、行政コストよりも定量化が難しいという理由で省略されていた利益でした。改訂された分析は、関係する本物の測定の不確実性を反映した明示的に述べられた範囲でこれらの利益を組み込み、予算局が最終的に承認したより強力で重要なことにより擁護可能な事例を生み出しました。まさにそれが自信を持って知っていることと知らないことについて透明だったからです。

ビジネスケース:動機、ROI、総所有コスト

厳密なROIの規律からの見返りは、いくぶん再帰的に、ROIの規律自身の信頼性です。取り組みが追求する価値がないと時折結論づけることを含め、一貫して正直で擁護可能な事例を構築する組織は、以前に過剰に約束したために懐疑的に見られる事例を持つ組織よりも、将来の投資決定において大きな信頼、したがってより多くの自律性を獲得します。上記の物流会社の例はこれを直接示しています。改訂されたより控えめだが正直な事例は、誇張された元の事例がおそらく精査の下で失敗していたであろう場所で成功しました。

この規律の総所有コストは、完全な総所有コストの見積もりを構築し、利益の見積もりを実際の証拠に根拠づけ、不確実性を明示的に述べ、事後に実際の成果を追跡する分析的な努力です。その努力は、素早く自信に満ちた単一数字の売り込みよりも本物により多くの作業であり、代替案が組織が今後行う必要のあるすべての将来の事例の信頼性を危険にさらすため、特にその価値があります。

アンチパターンと落とし穴

アップフロントのコストのみの分析、総所有コストを省略する。 特に長寿命のシステムについて、真の投資コストを過小評価します。
文書化された証拠ではなく楽観的な仮定から利益の見積もりを発明する。 精査を生き延びない事例を生み出します。
述べられた範囲の代わりに単一の誤って精密なROIの数字を提示する。 実際の成果が点推定と異なるとき信頼性を損ないます。
常に肯定的な結論しか生み出さない分析プロセス。 ステークホルダーによって、プロセスが本物に独立していない証拠として正しく読まれます。
実際の成果を元の予測に対して一度も追跡しない。 将来の予測の正確さを改善するであろうフィードバックループを失います。
決定に本物に情報を与えるためではなく、すでに感情的にコミットされた決定を正当化するために事例を構築する。 ほとんどの誇張されたROIの事例の根本原因です。

成熟度モデル

レベル1、開始: ROIの事例は非公式で、文書化された証拠によって裏付けられておらず、取り組みにかかわらずほぼ常に肯定的に結論づけられます。
レベル2、発展: いくつかの事例はコストと利益の見積もりを含みますが、総所有コストは一貫性なく適用され、不確実性が明示的に述べられることはめったにありません。
レベル3、標準化: ROIの事例は、組織全体で一貫して完全な総所有コスト、文書化された利益の証拠、本物の不確実性を反映した述べられた範囲を使用します。
レベル4、管理: 実際の成果は完了後に元の予測に対して追跡され、その比較は公開され将来の予測を改善するために使われます。
レベル5、最適化: 組織は、取り組みが追求する価値がないと正しく結論づけた事例を含む、正確で正直なROI予測の実証された複数年の実績を持ち、この実績がエンジニアリングに戦略的な投資決定における信頼された席を獲得させます。

議論のためのアイデア

私たちの現在最大の投資の事例は何で、それは今日本物に懐疑的な精査を生き延びられるでしょうか。
完了した取り組みの実際の成果を元のROIの予測に対して追跡したことがあるでしょうか。
私たちの分析プロセスが「価値がない」と本物に結論づける能力を持つためには何を変える必要があるでしょうか。
私たちの現在のコストの見積もりから最もよく欠けている総所有コストの構成要素は何でしょうか。
私たちの次に計画された主要な投資の事例における単一の最も弱い証拠のつながりは何でしょうか。

主な要点

本書の他の指標からROIの事例を構築してください。コストは単位経済性(トピック5.4)から、利益は文書化された成果の証拠(トピック5.1からトピック5.3)からで、発明された仮定からではありません。
アップフロントのコストだけでなく総所有コストを含め、利益の見積もりを単一の誤って精密な数字ではなく明示的な不確実性を伴う範囲として述べてください。
取り組みが追求する価値がないと本物に結論づける能力を持つプロセスを構築してください。常に肯定的な結論しか生み出さない分析は信頼できません。
完了後に実際の成果を予測に対して追跡し、長期的な予測の信頼性を構築するためにその比較を公開してください。
正直で擁護可能なROIの規律が、時間とともにエンジニアリングに戦略的な投資決定における信頼された席を獲得させるものです。

参考文献とさらなる読書

How to Measure Anything, Douglas W. Hubbard 著。
Cloud FinOps, J.R. Storment、Mike Fuller 著。
Accelerate: The Science of Lean Software and DevOps, Nicole Forsgren、Jez Humble、Gene Kim 著。
米国行政管理予算局サーキュラーA-94、連邦プログラムの費用便益分析に関する指針。