5.3 顧客とビジネスの成果の指標

概要と動機

本トピックは、トピック5.2の機能レベルの採用を超えて、組織が実際に気にかける成果の全範囲にレンズを広げます。維持または成長した収益、顧客満足度と忠誠心、コストの削減、回避されたリスク、そして公共部門の組織にとっては、使命が奉仕するために存在する市民の成果です。これらは、トピック1.3がインプット・アウトプット・成果の階層の頂点に置いた成果指標であり、本トピックは、本書がそのトピックの中心的な課題の最も難しく最も正直な形に直面する場所です。このレベルでの成果はめったにエンジニアリングだけに帰属させることができず、そうでないふりをすることは、トピック3.3が個人のパフォーマンスについて警告したまさにその偽の精密さの問題を、エンジニアリング組織全体のビジネスへの貢献というレベルにまで拡大したものを生み出します。

その帰属の難しさに対する生産的な対応は、エンジニアリングの仕事をビジネスの成果に結びつけることを諦める(それはトピック1.3の全体の前提を放棄することになります)ことではなく、その結びつきの強さについて正直であり、直接的な因果関係についての偽の精密さの主張ではなく収束する証拠を使うことです。うまく運営されているエンジニアリング組織は、エンジニアリングの制御の外でなされた営業、マーケティング、市場の状況、製品戦略の決定にも依存する成果について単独の功績を主張することなく、その仕事が特定のビジネスの成果と相関し、それに貢献し、時には直接それを推進していることを示すことができます。

大規模なチームにとって、本トピックの規律は、エンジニアリングが戦略的なテーブルに本物の席を持つか、価値が実証されるのではなく想定されているコストセンターとして扱われるかを決定します。企業組織は、資本に対する競合する要求に対して継続的かつ拡大されたエンジニアリング投資を正当化するために顧客とビジネスの成果の指標を使います。政府組織は、同等の市民の成果の指標を使って、公共の技術支出が意図された公共の価値を生み出したことを実証します。これは、監督機関がデジタル政府プログラムに対してますます求める基準になりつつあります。

重要な原則

成果はめったにエンジニアリングだけに帰属させることができない。 単独の因果関係の誤った主張ではなく、収束する証拠と正直な相関関係の言葉を使ってください。
エンジニアリングの指標を成果の指標に明示的に、文書化された因果連鎖を通じて結びつけてください。 単に同じダッシュボード上の並置ではありません。
政府と使命主導の組織は収益を超えた成果の指標を持っている。 市民の待ち時間、エラー率、サービスの完了は、財務的な指標と同じくらい、あるいはそれ以上に重要です。
ビジネスの成果の指標は遅くノイズが多い。 本書の他のほとんどどこよりも、ここでトピック1.6の統計リテラシーを厳密に適用してください。
ここは、技術者でないステークホルダーとのエンジニアリングの信頼性が勝ち取られるか失われるかが決まる場所である。 あなたの聴衆がすでに使っている成果の言葉で話してください。

推奨事項

エンジニアリングの指標からビジネスの成果への明示的で文書化された因果連鎖を構築する

提供の指標とビジネスの成果を並べて提示し、聴衆に結びつきを推論させるのではなく、指標の木(トピック1.3)を明示的に構築してください。この特定のエンジニアリングへの投資はリードタイムを短縮し、それは特定の顧客のニーズへのより速い対応を可能にし、それは定着率における特定の改善と相関していました。この連鎖の各つながりをそれ自身の証拠で文書化し、全体的な主張が「デプロイ頻度を改善した」から「収益が成長した」への単一の裏付けのない飛躍ではなく、擁護可能な個々のつながりの連鎖になるようにしてください。

正直な相関関係の言葉を使い、積極的に交絡因子を探す

トピック1.6の指針に直接従い、同時に他に何が変わったかを考慮せずに、エンジニアリングの変更がビジネスの成果の改善を引き起こしたと主張することに抵抗してください。価格の変更、競合他社のつまずき、季節的な効果、マーケティングキャンペーンです。調査結果を、単一の前後比較を証明として提示するのではなく、もっともらしい因果連鎖に裏付けられた相関関係として述べ、どのような交絡因子を検討し除外したかを明示してください。

公共部門と使命主導の仕事について市民と使命の成果を明示的に追跡する

政府と非営利組織にとって、「収益」の同等物はしばしば市民あるいは受益者の成果です。サービスの待ち時間の短縮、申請プロセスの成功した完了率の増加、給付金計算のエラー率の減少です。民間部門の組織が収益指標に適用するのと同じ厳密さでこれらを追跡し、単に測定が容易で帰属の難しさにさらされにくいという理由だけで提供のみの指標(出荷された機能、予定通り)に頼る誘惑に抵抗してください。

定量的な成果データを定性的な顧客のシグナルと組み合わせる

数字だけ、特に動きの遅いノイズの多いビジネスの成果の数字は、定性的なシグナルが直接捕捉する文脈を見逃すことがあります。顧客インタビューのフィードバック、サポートチケットのテーマ、あるいは直接のユーザーリサーチの発見です。定性的なシグナルを使って、定量的な成果の指標がなぜ動いたかを説明するか、遅れて現れる数字にまったく現れる前に新たな問題を捕捉してください。定量的なデータを本質的により権威があるものとして扱うのではなく、二つを補完的な証拠として扱ってください。

聴衆自身の語彙で成果データを提示する

技術者でないステークホルダー、エグゼクティブ、取締役会のメンバー、立法の監督機関に提示するとき、彼らがすでに使っている言葉(維持された収益、回避されたコスト、短縮された市民の待ち時間)で成果の指標を先頭に出し、エンジニアリングの指標はその成果がどのように達成されたかの裏付けとなる証拠としてのみ使い、見出しとしては使わないでください。これは、トピック1.3の成果重み付けの原則を、ステークホルダーコミュニケーションという特定のスキルに直接適用したものです。

トレードオフ:長所と短所

アプローチ	長所	短所
エンジニアリングの指標からビジネスの成果への直接の因果関係を主張する	単純で説得力のある物語	通常確実性を誇張する。懐疑的な聴衆に論破される脆弱性がある
正直で連鎖を文書化した相関関係	擁護可能で長期的な信頼性を築く	提示がより複雑。より多くの証拠収集の規律が必要
提供のみの報告(成果の主張を完全に避ける)	単純で帰属のリスクを避ける	エンジニアリングの実際のビジネス価値を示すことに失敗する。投資の会話で弱い
定量的証拠と定性的証拠を組み合わせる	より豊かで説明的、数字だけでは見逃すものを捕捉する	両方の種類の証拠を収集し統合するためにより多くの努力が必要

中心にある緊張関係は説得力のある物語と擁護可能な正直さです。「この機能を出荷し、収益が20%成長した」という単純で直接的な因果関係の主張は、認められた交絡因子を伴う慎重にヘッジされた複数のつながりを持つ因果連鎖よりもはるかに説得力のある物語ですが、それが間違っている可能性もはるかに高く、懐疑的なステークホルダーに異議を唱えられた場合、将来の主張に対するエンジニアリング組織の信頼性を損なう可能性もはるかに高いものです。この緊張を解消するには、より難しく正直な版に投資してください。認められた交絡因子を伴う文書化された因果連鎖は依然として説得力のある物語であり、精査を生き延びるという決定的な利点を持っています。

チームで話し合うべき問い

エンジニアリングの変更がビジネスの成果を改善したという私たちの最も最近の主張について、完全な因果連鎖を文書化できたでしょうか、それとも一方から他方への直接の飛躍を提示したでしょうか。実際の最近の主張を一つ選び、すべてのつながりを明示的に埋めてみてください。連鎖のギャップは正直に名指しする価値があります。
その主張をする前に、私たちはどのような交絡因子を検討し除外したでしょうか。 正直な答えが「実際には確認しなかった」であるなら、それは、次にそのような主張が懐疑的な聴衆になされる前に埋める価値のあるギャップです。
私たちの公共部門あるいは使命主導の仕事について、私たちは民間部門の組織が収益に適用するのと同じ厳密さで同等の市民あるいは受益者の成果を追跡しているでしょうか。あなたの組織が、より簡単だからという理由で提供のみの指標に既定で頼っているなら、代わりにより難しい成果の指標を構築するために何が必要かを話し合ってください。
数字だけでは説明しない、定量的な成果の指標における最近の動きを説明できる定性的なシグナル、顧客インタビュー、サポートのテーマは何でしょうか。定性的な証拠が、あなたがすでに観察した定量的なトレンドに本物の説明的な価値を加えるであろう特定のケースを探してください。
技術者でないステークホルダーに提示するとき、私たちは彼らの語彙で成果の指標を先頭に出しているでしょうか、それとも彼らが自分で翻訳しなければならないエンジニアリングの指標を先頭に出しているでしょうか。最近のプレゼンテーションを見直し、どちらが最初に来て、どちらが見出しとして枠組みづけられたかを確認してください。
成果の主張について異議を唱えられ、精査の下でそれを擁護できないことに気づいたことがあるでしょうか。 もしこれが起きたことがあるなら、どのような証拠がその主張を擁護可能にしていただろうかを話し合い、その教訓を将来の主張がどのように構築され文書化されるかに適用してください。

業種別の視点

スタートアップ。 この規模では成果の帰属はしばしばより明確です。なぜなら、小さな企業は、結びつきを希釈する組織的な複雑さがより少ない状態で、特定の機能を特定の指標の動きにより直接的にたどることができるからです。それでも、季節性や同時進行のマーケティングの働きかけのような明白な交絡因子を少なくとも簡単に検討せずに直接の因果関係を主張する誘惑に抵抗してください。

中小企業。 生存と成長を最も直接的に反映する成果の指標、収益、リピート顧客、コスト削減に焦点を当て、あなたがおそらく厳密に実行する能力を欠いている洗練された統計分析ではなく、単純で正直な定性的な推論を通じてエンジニアリングの仕事をそれに結びつけてください。

企業。 エンジニアリングの指標からビジネスの成果への文書化された因果連鎖を構築することは、組織的な複雑さと多くの交絡因子を考えると、この規模では本物に難しいですが、それはまた投資が最も報われる場所でもあります。なぜなら、資本配分の会話におけるエンジニアリングの信頼性は、この種の擁護可能な証拠に直接依存するからです。

政府。 市民と使命の成果の指標は、監督機関がますます期待するものであり、提供の指標(出荷された機能、予定通り)しか報告できないプログラムは、まさに本トピックがあなたが先回りするために構築されている懐疑を招きます。単純な提供の件数よりも測定が難しい場合でも、市民の成果を明示的に追跡することに投資してください。その投資は将来の資金提供と信頼性を直接保護するからです。

事例

企業。 あるソフトウェア・アズ・ア・サービス会社のエンジニアリングのリーダーシップは、機能の速度に焦点を当てた懐疑的な財務チームに対して、プラットフォームの信頼性の仕事への継続的な投資を正当化したいと考えていました。信頼性の改善から収益への直接の因果関係を主張する代わりに、チームは文書化された連鎖を構築しました。信頼性への投資は顧客が報告するダウンタイムのインシデントを減らし、ダウンタイムのインシデントは会社自身の離脱モデルによると次の30日間の離脱リスクの上昇と強く相関していました。そして、投資後にインシデントが少なかった顧客のコホートは、季節性と価格変更を明示的に確認し交絡因子として除外した上で、投資前の比較可能なコホートよりも測定可能に低い離脱を示しました。この慎重に文書化され正直にヘッジされた連鎖は、前年のより大げさな直接因果関係の主張よりも、懐疑的な財務チームにとって説得力があることが判明しました。

政府。 ある国家デジタルアイデンティティプログラムは、プログラムの継続的なコストに懐疑的な立法委員会に価値を実証する必要がありました。提供の指標(出荷されたモジュール、予定通り)を報告する代わりに、プログラムは市民の成果の指標を直接報告しました。身元確認を完了するまでの中央値の時間は数日から10分未満に減少し、対面での窓口訪問を必要としないセルフサービスの完了率は実質的に上昇しました。これらの成果の指標は、サービスを使用した市民からの定性的な証言と組み合わされ、プログラムが以前の予算サイクルで使用していた提供に焦点を当てた報告よりも委員会にとってはるかに説得力があることが判明し、継続的な資金提供の承認を直接支持しました。

ビジネスケース:動機、ROI、総所有コスト

厳密で正直な顧客とビジネスの成果の測定からの見返りは、戦略的な会話におけるエンジニアリングの信頼性です。帰属の限界について適切な正直さをもって自身の仕事を実際の成果に擁護可能に結びつけることができる組織は、自身の事例を誇張する(そして見つかる)か、成果の主張を完全に避ける(そして実証可能なビジネス価値のないコストセンターのように見える)組織よりも、将来の投資決定においてより強い立場を得ます。

総所有コストは、因果連鎖を構築し文書化し、交絡因子を確認し、定量的証拠と定性的証拠を組み合わせる分析的な努力であり、これは単純な裏付けのない相関関係の主張よりも本物に多くの作業です。その投資は、特に代替案、後で精査に失敗する誇張された主張が、追加の厳密さが事前にかかるコストよりも長期的な信頼性においてはるかに多くのコストがかかるため、価値があります。

アンチパターンと落とし穴

交絡因子を確認せずに直接の因果関係を主張する。 確実性を誇張し、異議を唱えられた場合に信頼性の損害のリスクを冒します。
文書化された因果連鎖なしにエンジニアリングと成果の指標を並べて提示する。 聴衆に、実際には成り立たないかもしれない結びつきを推論させます。
公共部門あるいは使命主導の仕事について、測定が容易だからという理由で提供のみの指標に既定で頼る。 ステークホルダーが実際に気にかける成果を示すことに失敗します。
定量的な成果データを定性的な証拠よりも本質的に権威があるものとして扱う。 数字だけでは提供できない文脈と説明力を見逃します。
技術者でないステークホルダーに成果の語彙ではなくエンジニアリングの語彙で提示する。 本物に強い事例の説得力を弱めます。
帰属の難しさを回避するために成果の主張を完全に避ける。 エンジニアリングの実際のビジネス価値を示されず過小評価されたままにします。

成熟度モデル

レベル1、開始: エンジニアリングは提供と活動の指標のみを報告します。ビジネスあるいは市民の成果への結びつきは試みられません。
レベル2、発展: いくつかの成果の主張がなされますが、文書化された因果連鎖や交絡因子の検討はありません。
レベル3、標準化: 成果の主張は、交絡因子を明示的に検討した、文書化され複数のつながりを持つ因果連鎖に基づいて組織全体で構築されています。
レベル4、管理: 定量的証拠と定性的証拠が体系的に組み合わされ、成果のデータが一貫してステークホルダーの語彙で提示されています。
レベル5、最適化: エンジニアリングは精査を生き延びた擁護可能な成果の主張の実証された信頼できる実績を持ち、成果のデータが組織の最高レベルで戦略的な投資決定に直接的かつ日常的に情報を与えています。

議論のためのアイデア

エンジニアリングの仕事を実際のビジネスあるいは市民の成果に結びつける私たちの現在の最も強力な証拠は何でしょうか。
成果の主張をする前に、私たちが実際には一度も確認したことのない交絡因子は何でしょうか。
私たちは、該当する場合、財務的な成果と同じ厳密さで市民あるいは使命の成果を追跡しているでしょうか。
どのような定性的証拠が、私たちの現在最も強力な定量的な成果の物語を強化するでしょうか。
提供の指標ではなく成果を先頭に出していたら、私たちの最後の主要なステークホルダープレゼンテーションはどう変わっていたでしょうか。

主な要点

成果はめったにエンジニアリングだけに帰属させることができません。 単独の因果関係の誤った主張ではなく、収束する証拠と正直な相関関係の言葉を使ってください。
エンジニアリングの指標からビジネスの成果への明示的で文書化された因果連鎖を構築し、すべてのつながりで交絡因子を確認してください。
公共部門と使命主導の仕事について、民間組織が収益に適用するのと同じ厳密さで市民と使命の成果を追跡してください。
定量的証拠と定性的証拠を組み合わせてください。 数字だけでは成果が動いた理由を説明する文脈をしばしば見逃します。
技術者でないステークホルダーのために、エンジニアリングの指標ではなく成果を先頭に出し、聴衆自身の語彙で成果のデータを提示してください。

参考文献とさらなる読書

Continuous Discovery Habits, Teresa Torres 著。
Lean Analytics, Alistair Croll、Benjamin Yoskovitz 著。
How to Measure Anything, Douglas W. Hubbard 著。
米国政府説明責任局(GAO)のパフォーマンス測定とGPRA近代化法に関する指針:成果ベースの公共部門報告基準。