8.2 ツールの状況:構築対購入

概要と動機

本書の指針を実装するすべての組織は、最終的に実用的なインフラの決定に直面します。指標のツールを内部で構築するか、商用のエンジニアリング分析プラットフォームを購入するか、あるいは実践では最も一般的に、両方のある組み合わせです。本トピックは、その決定をトピック5.5が他のどんなエンジニアリング投資にも適用するのと同じ厳密さで扱います。文脈にかかわらず一律に適用される既定の答えではなく、あなたの組織の規模、既存のデータソース、そして本書からあなたが実際に追跡するつもりの特定の指標に特有の正直な費用便益分析です。

商用のエンジニアリング分析ツールの市場はかなり成熟しており、多くのプラットフォームが今やDORAの指標(第2部)、プルリクエストとレビューのデータ(トピック2.9)、そしてますます開発者体験の調査のインフラ(トピック3.7)のための堅実でほぼ自動化された計測を提供しています。この成熟は、多くの組織にとって少なくとも基盤となる層を購入する方向に計算を変えましたが、それは、特定のカスタマイズされたニーズのための、特にトピック7.4が今や指標プログラムの必要な中心であると論じる成果のテレメトリーをめぐる構築オプションの本物の利点を排除したわけではありません。これは頻繁に、本書がカバーする測定のカテゴリーの中で最も標準化されておらず最も組織に特有のものです。

大規模なチームにとって、この決定は本物の継続的な予算とエンジニアリングの容量の結果を伴います。企業組織はしばしば、レガシーと現代のシステムの本物に異種混在の状況にわたって指標のツールを統合する必要があり、これは構築対購入の計算を大きく形作ります。政府組織は、頻繁に調達の制約とデータ主権あるいはセキュリティの要件に直面し、これは、純粋な費用便益分析だけが示唆するであろうことにかかわらず、どの商用オプションがそもそも実行可能であるかに重要な影響を与え、時に決定を構築あるいは特定の精査済みのベンダーに傾けます。

重要な原則

これはめったにオールオアナッシングの決定ではない。 ほとんどの成熟した指標プログラムは、よく標準化された指標のための購入されたツールと組織特有の成果のテレメトリーのための構築されたツールを組み合わせます。
よく標準化され広く必要とされる指標については購入し、本物に組織特有のものについては構築してください。 DORAの指標とプルリクエストの分析はコモディティの領域です。あなたの特定のビジネスの成果の相関(トピック5.3)は通常そうではありません。
データの所有権と移植性は機能の比較と同じくらい重要である。 あなたの指標データを閉じ込めるツールは、単なる不便ではなく持続的なリスクです。
統合のコストは、構築対購入の分析において両方のオプションについて頻繁に過小評価される。
調達、セキュリティ、データ主権の制約は、特に政府組織にとって純粋な費用便益の計算を覆すことがある。

推奨事項

コモディティの層について購入する:DORA、レビュー、調査のインフラ

成熟した広く利用可能な商用のツールを持つ指標ファミリー、DORAの指標の計測(第2部)、プルリクエストとコードレビューの分析(トピック2.9)、開発者体験の調査のプラットフォーム(トピック3.7)については、購入が通常、ある規模を下回るほとんどの組織にとってより良い経済的選択です。同等のインフラを構築することは、多くのベンダーがすでに大きく投資してきたエンジニアリングの努力を複製することになり、自分自身の版を構築することから得られる本物の差別化は限られているからです。

本物に組織特有の成果のテレメトリーについては構築する

トピック7.4があなたの指標プログラムの重心であるべきだと論じる成果の指標、ビジネスの成果の相関(トピック5.3)、あなたの特定の製品に結びついた機能の採用(トピック5.2)、あなたの特定のコスト構造に結びついた単位経済性(トピック5.4)については、商用のツールははるかに標準化されておらず、しばしば、あなたの組織の特定のビジネスロジックとデータモデルを、結果として得られる同等の能力を完全な制御で内部で構築するよりも結局多くのコストがかかるかもしれない、広範で高価なカスタマイズなしには捕捉できません。

ベンダーにコミットする前にデータの所有権と移植性を評価する

商用の契約に署名する前に、あなたの完全な過去の指標データを使用可能な標準の形式でエクスポートできることを確認し、あなたがベンダーを切り替えたりサービスを中止したりした場合にそのデータとその履歴がどうなるかを理解してください。データのロックインのために脱出することが困難になるベンダーの関係は、単なる不便ではなく持続的な組織的リスクであり、この評価は他のどんな重大な複数年にわたるインフラのコミットメントとも同じ真剣さに値します。

決定の両側で統合のコストについて現実的に予算を組む

構築するにせよ購入するにせよ、ツールをあなたの実際のバージョン管理、CI/CD、インシデントの追跡、ビジネスのシステムに接続する統合のコストは、どちらの道の最初の計画においても頻繁に過小評価されます。商用のツールが最小限の設定で箱から出してすぐに機能すると仮定したり、自家製のソリューションの統合コストがその開発コストへの小さな追加であると仮定したりするのではなく、あなたの構築対購入の分析において、この統合の努力に別個の重要な項目として明示的に予算を組んでください。

調達、セキュリティ、主権の制約を明示的かつ早期に考慮する

政府と規制された企業組織にとって、データ主権の要件、セキュリティ認証のニーズ、調達のプロセスは、その機能の品質にかかわらず、特定の商用オプションを重要に狭めたり排除したりすることがあり、時に決定を構築あるいはより小さな特に精査されたベンダーのセットに傾けます。これらの制約を、実際の能力とは無関係の理由で実行不可能だと判明するオプションにすでに相当な評価の努力をかけた後にのみ発見するのではなく、評価のプロセスの早期に明示的に特定してください。

トレードオフ:長所と短所

アプローチ	長所	短所
商用のツールを購入する	展開が速い、成熟した機能セット、ベンダーが保守する	組織特有の成果の指標についてはカスタマイズ性が低い。潜在的なロックイン
内部のツールを構築する	完全にカスタマイズされ、完全なデータの所有権と制御	重大で継続的なエンジニアリングの投資。コモディティの指標については努力を複製する
ハイブリッド:コモディティの層を購入し、成果の層を構築する	コスト効率と最も重要な場所での本物のカスタマイズのバランスを取る	購入されたコンポーネントと構築されたコンポーネントを一貫して接続するための統合の作業が必要
広範なベンダーのカスタマイズを通じて成果のテレメトリーを含めすべてを購入する	単一のベンダーの関係、潜在的によりシンプルな調達	構築するのと同じくらい高価になることがあり、結果に対する最終的な制御がより少ない

中心にある緊張関係はカスタマイズのニーズと開発コストです。カスタマイズから最も恩恵を受ける指標、あなたのビジネスに特に結びついた成果のテレメトリーは、うまく構築するのに最もコストがかかる指標でもあります。購入するのに最も安い指標、DORAとレビューの分析は、本物のカスタマイズが最も重要でない指標でもあります。この緊張を、決定をこのパターンに直接合わせることで解消してください。標準化があなたにうまく奉仕する場所では購入し、あなたの特定の文脈が本物にそれを必要とする場所では構築し、その分割の両側で統合のコストに現実的に予算を組んでください。

チームで話し合うべき問い

本書がカバーする各指標ファミリーについて、私たちは本物にカスタマイズから恩恵を受けるでしょうか、それとも標準化された商用のツールが同じくらいうまく私たちに奉仕するでしょうか。第2部から第6部を明示的にたどり、この特定のテストに基づいて各指標ファミリーを購入列あるいは構築列に分類してください。
私たちは現在あるいは将来のベンダーのデータのエクスポートと移植性のオプションを評価したでしょうか、それとも必要なら簡単に離れられると仮定しているでしょうか。仮定するのではなく直接確認してください。データのロックインは、しばしば組織が実際に切り替えを試みたときにのみ発見されます。
私たちの元の構築対購入の分析は統合のコストを現実的に考慮したでしょうか、それとも主にライセンス料対開発時間に焦点を当てたでしょうか。 最近のツールの決定を見直し、統合のコストが本物に見積もられたか、重大に過小評価されたかを確認してください。
私たちは、その機能の品質にかかわらず特定の商用オプションを排除するであろう調達、セキュリティ、あるいはデータ主権の制約に直面しているでしょうか。実行不可能だと判明するかもしれないオプションに相当な評価の努力を投資する前に、後ではなく、これらの制約を明示的に特定してください。
私たちの現在のツールの状況は、構築と購入をそれぞれが理にかなう場所に合わせた意図的なハイブリッドでしょうか、それとも時間をかけて場当たり的で個別には合理的な決定を通じて蓄積されたものでしょうか。どちらのパターンが実際にあなたの現在の状況を説明しているかについて正直になってください。
もし必要なら、私たちは今日私たちの現在の指標のツールのベンダーを切り替えるのに、努力とリスクにおいてどれだけのコストがかかるでしょうか。この具体的な問いは、ベンダーの契約条件が名目上約束することにかかわらず、データのロックインのリスクへのあなたの実際の現在の露出をテストします。

業種別の視点

スタートアップ。 この規模では既定でコモディティのツールを購入してください。カスタムの指標インフラを構築することは、DORAとレビューの指標に特に成熟した安価な商用オプションが存在するとき、希少な早期のエンジニアリングの容量のめったに良い使い方ではありません。どんな構築の努力も、あなたの製品の中核的な価値を最も直接反映する単一の成果の指標(トピック5.3)のために確保してください。

中小企業。 ほとんどの商用のツールのオプションは合理的にスケールダウンし、小さな組織にとってアクセスしやすい価格設定です。コモディティの層を購入することはほぼ常に正しい選択であり、何かカスタムなものを構築することは、あなたの組織がかなり成長し本物に特定のニーズを発展させるまでめったに正当化されません。

企業。 本トピックが推奨するハイブリッドアプローチは、ここでその複雑さに見合う価値があります。規模でコモディティの層を購入し(しばしば有利な条件のための意味のある交渉力を伴う)、組織特有の成果のテレメトリーの層を構築することに意図的に投資してください。この規模でのあなたのビジネスロジックとデータモデルの複雑さは、通常、広範で高価なカスタマイズなしに一般的な商用ツールが対応できるものを超えるからです。

政府。 調達のプロセス、セキュリティ認証の要件、データ主権の制約は、純粋な機能あるいはコストの比較が示唆するよりもこの決定を頻繁に支配します。評価のプロセスの早期に調達とセキュリティのステークホルダーを巻き込み、構築オプションが比較可能な民間部門の文脈よりもここで本物により魅力的になる可能性に備えてください。構築が本質的に優れているからではなく、まさにこれらの制約のためです。

事例

企業。 あるソフトウェア会社は、当初、第2部から第6部までのすべての指標ファミリーをカバーする完全にカスタムの指標プラットフォームを構築しようとしました。これは相当なエンジニアリングの容量を消費する複数年にわたる取り組みであり、それでも特に標準化されたDORAとレビューの指標については成熟した商用製品に遅れを取っていました。改訂された戦略は、これらのコモディティの指標のために商用プラットフォームを採用し、内部のプラットフォームチームを、どの商用ツールも箱から出してすぐには提供できなかったであろう、会社のビジネスモデルに本物に特有のビジネスの成果の相関と単位経済性のテレメトリー(トピック5.3、トピック5.4)を構築することに専念させました。このハイブリッドアプローチは、すべて構築の戦略が2年後に達成したものよりも、より完全でより本物に有用な指標プログラムを1年以内に提供しました。

政府。 ある連邦機関の商用エンジニアリング分析プラットフォームの初期評価は、利用可能などのベンダーも、すべてのエンジニアリング指標データが特定の認証された政府のデータセンター内に留まることを義務づける機関のデータ主権の要件を満たせないことを発見しました。購入オプションを完全に放棄するのではなく、機関は、標準的な商用の価格設定に対する穏やかなコストのプレミアムで、政府認証の主権クラウドの展開オプションを提供するより小さなベンダーのサブセットを特定し、ハイブリッドのプログラムを成功裏に展開しました。必要な主権の境界内でコモディティの指標の層のためにツールを購入し、主権の考慮にかかわらずどの利用可能な商用ベンダーも対処しなかった機関の特定の市民の成果のテレメトリーのニーズのために内部のツールを構築しました。

ビジネスケース:動機、ROI、総所有コスト

意図的なハイブリッドの構築対購入の戦略からの見返りは、本トピックの例が示す両方の失敗モードを避けることです。市場にすでに安価に存在するコモディティの能力を構築するという無駄になった複数年のエンジニアリング投資と、本物に組織特有のニーズを不適切に合う商用のツールに無理やり押し込むことのフラストレーションと最終的なカスタマイズのコストです。上記の企業の例はこれを具体的に示しています。ハイブリッドアプローチは、すべて構築の戦略が2年で達成したものよりも1年でより本物の価値を提供しました。

どちらの道の総所有コストにも、しばしば過小評価される統合のコストと、購入されたツールに特有の、データの移植性が事前に契約上確認され保護されていない限りの潜在的なベンダーのロックインの継続的なリスクのコストが含まれます。ライセンス料や開発時間だけに狭く焦点を当てるのではなく、これらの両方に現実的に予算を組むことは、どちらのオプションについてもはるかに正確な総コストの全体像を生み出します。

アンチパターンと落とし穴

よく標準化されたコモディティの指標のためにカスタムのツールを構築する。 多くのベンダーがすでに大きく投資してきたエンジニアリングの努力を複製します。
最初に適合性を確認せずに本物に組織特有の成果のテレメトリーのために商用のツールを購入する。 高価で不適切に合うカスタマイズ、あるいは満たされないニーズのリスクを冒します。
ベンダーにコミットする前にデータのエクスポートと移植性を評価しない。 離れようとしたときにのみ発見される持続的で高価なロックインのリスクを冒します。
決定のどちら側でも統合のコストを過小評価する。 不正確な総コストの比較と非現実的なタイムラインを生み出します。
評価のプロセスの後期まで調達、セキュリティ、あるいは主権の制約を無視する。 能力とは無関係の理由で実行不可能だと判明するオプションに評価の努力を無駄にします。
これを単一のオールオアナッシングの決定として扱う。 ほとんどの組織の実際の混合されたニーズに最もよく合うハイブリッドアプローチを見逃します。

成熟度モデル

レベル1、開始: ツールの決定は、意図的な構築対購入の分析もデータの移植性の考慮もなく場当たり的になされています。
レベル2、発展: いくらかの分析は行われますが、統合のコストは日常的に過小評価され、ハイブリッドアプローチは意図的に検討されていません。
レベル3、標準化: 意図的なハイブリッドの構築対購入の戦略が、コモディティの指標を購入されたツールに、組織特有の成果のテレメトリーを構築されたツールに、一貫して合わせています。
レベル4、管理: データの移植性は、すべての購入されたツールについて契約上確認され保護されており、調達、セキュリティ、主権の制約は明示的かつ早期に考慮されています。
レベル5、最適化: 組織のツールの状況は、商用の製品と組織的なニーズが進化するにつれて定期的に見直される成熟した意図的なハイブリッド戦略を反映しており、購入されたコンポーネントと構築されたコンポーネントの両方から実証された価値があります。

議論のためのアイデア

私たちの現在の指標のどれが、現在得られていないカスタマイズから最も恩恵を受けるでしょうか。
私たちは、ベンダーを切り替える必要があった場合に完全な過去の指標データをエクスポートできることを確認したでしょうか。
私たちの最後のツールの決定は統合のコストを現実的に考慮したでしょうか。
私たちが過小評価しているかもしれない調達、セキュリティ、あるいは主権の制約は何でしょうか。
私たちの特定の指標セットにとって意図的なハイブリッド戦略はどのようなものになるでしょうか。

主な要点

これはめったにオールオアナッシングではありません。ほとんどの成熟したプログラムはコモディティの指標のための購入されたツールと組織特有の成果のテレメトリーのための構築されたツールを組み合わせます。
標準化された指標について購入してください(DORA、レビューの分析、調査のインフラ)。本物に組織特有の成果の測定については構築してください。
ベンダーにコミットする前にデータの所有権と移植性を評価してください。 ロックインは単なる不便ではなく持続的なリスクです。
決定の両側で統合のコストに現実的に予算を組んでください。 それは頻繁に過小評価されます。
調達、セキュリティ、主権の制約は、特に政府組織にとって純粋な費用便益の計算を覆すことがあります。

参考文献とさらなる読書

Accelerate: The Science of Lean Software and DevOps, Nicole Forsgren、Jez Humble、Gene Kim 著。
Cloud FinOps, J.R. Storment、Mike Fuller 著。
FinOps財団のFinOpsフレームワーク、finops.org。
米国連邦リスク認可管理プログラム(FedRAMP)の文書。