8.1 エンジニアリング指標ダッシュボードの設計

概要と動機

本書がカバーしてきたすべての指標は、最終的に実際の人々が実際に見るどこかに存在しなければなりません。そして、悪く設計されたダッシュボードは、前のすべてのトピックの注意深い仕事を台無しにすることができます。正直でよく統治されガードレールと組み合わされた指標が、不正直に、散らかって、あるいは間違った聴衆に提示されると、本書が防ぐために取り組んできたまさにその混乱と不信を生み出します。本トピックは、ダッシュボード設計の特定の技巧についてです。誰に何を見せるかを選ぶこと、それを正直に視覚化すること、そして成果物全体を、無視されたり、さらに悪いことに誤読されたりするのではなく、実際に決定を下すために使われるように構造化することです。

本トピックが推奨する中心的な規律は、聴衆特有の設計です。個々のエンジニアリングチームの日々のスタンドアップのために構築されたダッシュボードは、四半期のエグゼクティブレビューのために構築されたものとは異なる指標、異なる粒度、異なる視覚的密度を必要とし、両方の聴衆に奉仕しようとする単一の万能のダッシュボードは通常どちらにもうまく奉仕しません。本トピックは、ダッシュボードの設計を単なる報告の後知恵としてではなく本物の設計の規律として扱い、トピック1.6の統計的な正直さの原則に一貫して基づいています。すべての視覚化の選択は、読者がデータから正しい結論を引き出す能力を助けるか妨げるかのどちらかです。

大規模なチームにとって、ダッシュボードの設計は、本書の多くの個々の指標レベルのガードレールが実践に生き延びるか失われるかが決まる場所です。数十のチームのダッシュボードを運用する企業組織は、それぞれの聴衆の特定のニーズが満たされることを依然として許す硬直性のない一貫性、共有された基準を必要とします。公の精査に直面したり監督の報告の基礎として奉仕したりするダッシュボードを持つ政府組織は、本トピックが推奨する正直な視覚化の基準を特別な厳密さで適用する必要があります。外部のレビュアーによって発見された誤解を招くチャートは、関係する特定の指標をはるかに超えて信頼性を損なうからです。

重要な原則

包括的なカバレッジのためではなく、特定の聴衆と決定のために設計してください。 すべての人に奉仕しようとするダッシュボードは通常誰にもうまく奉仕しません。
すべての視覚化の選択は助けになるか積極的に誤解を招くかのどちらかである。 トピック1.6の統計的な正直さを厳密に適用してください。本物のトレンド、正直な軸、見える不確実性です。
より少なく、よく選ばれた指標は包括的なカバレッジに勝る。 トピック1.1以来の本書を貫く原則が、ダッシュボードの設計に直接適用されます。
ダッシュボードは所有者とレビューのペースを必要とする。 他のどんな統治された指標とも(トピック1.4)まったく同じで、そうでなければ保守されない信頼されない成果物に劣化します。
ガードレールの組み合わせは同じビューに属する。 インセンティブのかかった指標をそのガードレールから異なるダッシュボードや異なるセクションに決して分離しないでください。

推奨事項

異なる聴衆と決定のために異なるダッシュボードを設計する

すべての聴衆に奉仕する一つのダッシュボードではなく、別々の目的特有のビューを構築してください。チームレベルの運用ダッシュボード(毎日あるいは毎週のペース、チーム自身の使用のための詳細な提供と品質の指標)、リーダーシップのダッシュボード(毎月あるいは四半期のペース、トピック7.4に従った成果加重、より少ない指標、より多くの文脈)、そして関連する場合は外部に向けたダッシュボード(顧客、監督機関、あるいは公衆向け、トピック1.4の結果に応じた厳密さで注意深く統治される)です。それぞれが異なる決定に奉仕し、単一のマスターダッシュボードのフィルタリングされたビューとしてではなく、その決定のために特に設計されるべきです。

正直な視覚化の基準を一貫して適用する

トピック1.6の統計的な正直さの原則を、オプションの磨き上げではなく厳格な設計要件として従ってください。述べられ見える例外が文書化されていない限り値の軸をゼロから始めること、単一のスナップショットではなく時間をかけたトレンドを示すこと、歪んだデータについては平均ではなく中央値とパーセンタイルを使うこと、そして読者が本物の変化をノイズから区別できるよう文脈(デプロイ、インシデント、組織の変化)に注釈をつけることです。トピック1.6が直接名指しした特定のチャートの操作、誤った相関を暗示する二重軸、都合よく選ばれた日付範囲、比率を歪める3D効果を避けてください。

異なるビューをまたいで指標をその対になったガードレールから決して分離しない

トピック1.2のガードレールの組み合わせの原則を、厳格なダッシュボード設計のルールとして従ってください。デプロイ頻度と変更失敗率(トピック2.10)は同じビューに属し、常に一緒に見え、異なる聴衆が孤立して見るかもしれない「速度」のダッシュボードと別の「品質」のダッシュボードに決して分割されません。これは些細なレイアウトの好みではありません。異なるダッシュボードで指標をそのガードレールから分離することは、両方の数字が技術的にはどこかで追跡されていても、トピック1.2が警告するまさにそのインセンティブ露出のリスクを再び生み出します。

すべてのダッシュボードに名前のついた所有者とレビューのペースを割り当てる

トピック1.4のガバナンスの規律を、それが表示する個々の指標だけでなくダッシュボードの成果物自体に直接適用してください。ダッシュボードの継続的な正確さと関連性に責任を持つ所有者に名前をつけ、指標が追加され、廃止され、あるいは再検討されるレビューのペースを設定してください。所有者のいないダッシュボードは、所有者のいない指標(トピック1.4)とまったく同じように劣化し、誰も刈り込む権限や責任を持たない古くなったタイルを蓄積します。

ダッシュボードが何のためのものではないかの明示的で見える声明を組み込む

トピック1.1の診断的対評価的の区別に従い、指標が個人の評価に誤用されうるどんなダッシュボードにも、ダッシュボードが何のためのものではないかを直接的に見える形で述べてください。「これらの指標はチームとシステムの健全性を説明します。個人のパフォーマンスレビューには使われません」です。この明示的な声明は、特に活動データ(トピック3.4)あるいはオンコールの負荷データ(トピック6.3)を含むどんなダッシュボードにも適用され、本書全体で警告してきたまさにその評価的な漂流を防ぐことに不釣り合いな効果を持つ小さな設計上の選択です。

トレードオフ:長所と短所

アプローチ	長所	短所
すべての聴衆のための単一の包括的なダッシュボード	一つの成果物を構築し維持するのが単純	どの特定の聴衆にもうまく奉仕しない。ある人には圧倒的で、ある人には不十分
聴衆特有のダッシュボード	それぞれがその実際の決定にうまく奉仕する	構築し維持し一貫性を保つためのより多くの成果物
すべてのビューでの包括的な指標のカバレッジ	何も見逃されない	ダッシュボード疲れ。その聴衆の決定にとって実際に重要な指標を埋もれさせる
ダッシュボードごとの最小限の決定駆動の指標の選択	焦点が絞られ実行可能で信頼しやすい	意図的な選別の規律が必要で、関連する何かを省略するリスクがある

中心にある緊張関係は包括性と焦点であり、トピック1.1の基礎的な緊張がダッシュボードの設計に特に適用されたものです。包括的なダッシュボードはより安全に感じられます。何も除外されません。しかし、それは通常、その聴衆が下す必要がある決定を中心に特に構築された焦点を絞ったダッシュボードよりも、その実際の聴衆にうまく奉仕しません。この緊張を、一つの包括的なダッシュボードではなく複数の目的特有のダッシュボードを構築することで解消してください。いくつかの焦点を絞った成果物の穏やかな追加の保守コストを、それぞれが実際にその意図された聴衆に有用であることと引き換えに受け入れてください。

チームで話し合うべき問い

私たちの現在のダッシュボードは一度に複数の聴衆に奉仕しようとしているでしょうか、そうであれば、それは実際には誰にうまく奉仕しているでしょうか。あなたの既存のダッシュボードをたどり、その意図された聴衆対実際の主要な聴衆を特定してください。ここでのミスマッチは一般的であり、直接名指しする価値があります。
私たちのダッシュボードのどれかが、インセンティブのかかった指標をその対になったガードレールから異なるビューに分離しているでしょうか。 出発点として第2部のDORA指標のそれぞれとその組み合わせを確認し、特にこのパターンについてあなたの現在のダッシュボードを監査してください。
私たちのダッシュボードの視覚化は、トピック1.6の正直な視覚化の基準(ゼロベースの軸、スナップショットよりトレンド、歪んだデータについて平均より中央値)に合格するでしょうか。このチェックリストに対してあなたの実際の現在のチャートを直接見直してください。
私たちが維持するすべてのダッシュボードは、名前のついた所有者とレビューのペースを持っているでしょうか、それともいくつかは誰もそれを正確で関連性のあるものに保つ責任を持たずに単に存在しているでしょうか。どんなダッシュボードにも名前のついた所有者が欠けているなら、そのギャップは即座に埋める価値があります。所有者のいないダッシュボードは、所有者のいない指標とまったく同じように劣化するからです。
指標が個人の評価に誤用されうるどんなダッシュボードも、それが何のためのものではないかを明示的に述べているでしょうか。 活動あるいはオンコールの負荷データを含むどんなダッシュボードも、この明示的な声明について特に確認してください。
もし私たちが今日、各聴衆が下す必要がある決定から始めて、聴衆ごとに私たちのダッシュボードをゼロから再設計したら、結果は現在存在するものとどれだけ違って見えるでしょうか。この思考実験は、しばしば、どれだけのダッシュボードの構造が意図的な設計ではなく惰性によって蓄積されてきたかを明らかにします。

業種別の視点

スタートアップ。 この規模では単一の単純なダッシュボードが通常適切です。チーム全体とリーダーシップは、しばしば大部分同じ決定を下す同じ小さなグループの人々だからです。小規模であっても正直な視覚化の基準と明示的な評価対象外の声明に焦点を当ててください。これらの習慣は、後で改修するよりも早期に確立する方がはるかに簡単だからです。

中小企業。 ほとんどの既製のツールは妥当なデフォルトのダッシュボードを提供します。主な規律は、ツールがたまたまデフォルトで計算するすべての指標を表示するのではなく、あなたの特定のビジネスにとって実際に実際の決定に情報を与えるわずかな指標にそれを選別することです。

企業。 硬直性のない一貫性がここでの中心的な課題です。数十のチームのダッシュボードは、信頼でき比較可能であるために十分な共有された基準(正直な視覚化のルール、ガードレールの組み合わせ、所有権の規律)を必要としながら、それでも各チームの特定の運用上のニーズがその独自のビューを形作ることを許す必要があります。硬直した万能のテンプレートでも、完全に構造化されていない一貫性のないローカルのダッシュボードでもなく、ガバナンス(トピック1.4)を通じて実施される共有されたダッシュボードの設計基準に投資してください。

政府。 外部あるいは監督の精査に直面するダッシュボードは、正直な視覚化と明示的なガバナンスの文書化に特別な厳密さを必要とします。外部のレビュアーによって発見された誤解を招くチャートは、関係する特定の指標をはるかに超えて制度的な信頼性を損なうからです。どんな外部に向けたダッシュボードにも、本トピックの推奨事項の最高の基準を特に適用してください。

事例

企業。 ある物流技術会社は、何年もの間、個々のエンジニアリングチームとエグゼクティブのリーダーシップチームの両方が見る単一の「エンジニアリングの健全性」ダッシュボードを維持しており、個々のコミット件数から四半期のビジネスの成果まですべてをカバーする40以上のタイルを持っていました。どちらの聴衆も本物にそれを有用だとは感じませんでした。エンジニアは、ビジネスの成果のタイルを自分たちの日々の仕事に無関係として無視し、エグゼクティブは解釈のための文脈のない詳細な提供の指標に圧倒されていました。それを焦点を絞った6タイルのチーム運用ダッシュボードと別の8タイルのリーダーシップダッシュボードに分割し、どちらも本トピックのガードレールの組み合わせと正直な視覚化の基準に従うことで、測定可能に高いエンゲージメントを生み出し、決定的に、エグゼクティブは、初めて、自分たちのリーダーシップから尋ねられたときに数字が何を意味するかを説明できたと報告しました。

政府。 ある州政府の公に向けたデジタルサービスのダッシュボードは、穏やかな改善を視覚的に誇張する切り詰められたy軸を使って「平均」処理時間を示すチャートについて、公に批判されていました。これは、外部の技術ジャーナリストが見つけて報道したトピック1.6の正直な視覚化の基準への違反でした。本トピックの基準に対して明示的に構築された機関の再設計されたダッシュボードは、ゼロベースの軸、右に歪んだ処理時間のデータについての平均ではなく中央値、そしてどんな注目すべき変化にも明確に注釈をつけた文脈を持ち、フォローアップの記事で透明な公共部門のデータ提示のモデルとして特に賞賛され、以前の誤解を招くチャートが損なった信頼性を直接修復しました。

ビジネスケース:動機、ROI、総所有コスト

意図的で聴衆特有の正直に設計されたダッシュボードからの見返りは、本物の利用と本物の信頼です。上記の物流会社の例は、悪く設計された単一のダッシュボードの直接のコスト、両方の意図された聴衆からの低いエンゲージメント、そして再設計の直接の利益、各聴衆が自分自身の決定のために実際に構築されたビューを得た後の測定可能に高いエンゲージメントを示しています。

総所有コストは、一つの包括的な成果物ではなく複数の目的特有のダッシュボードの設計と保守の努力、加えて本トピックが推奨する継続的なガバナンスの規律(名前のついた所有権、レビューのペース)です。そのコストは、使われないままになるダッシュボード、あるいはさらに悪いことに、その聴衆を積極的に誤解させ信頼性を損なうダッシュボードのリスクと比較して穏やかです。これは上記の政府の例が具体的に示しています。

アンチパターンと落とし穴

すべての聴衆に奉仕しようとする単一のダッシュボード。 通常誰にもうまく奉仕しません。
異なるビューをまたいでインセンティブのかかった指標をそのガードレールから分離する。 トピック1.2が警告するインセンティブ露出のリスクを再び生み出します。
不正直な視覚化の選択。 切り詰められた軸、都合よく選ばれた日付範囲、二重軸はすべて読者を誤解させ、時には本物の評判上の結果を伴います。
ダッシュボード自体に名前のついた所有者やレビューのペースがない。 その成果物は所有者のいない指標とまったく同じように劣化します。
ダッシュボードが何のためのものではないかの明示的な声明がない。 本書全体で警告してきた評価的な漂流を招きます。
焦点を絞った決定駆動の選別よりも包括的なタイルのカバレッジ。 ダッシュボード疲れを生み出し、実際に重要なことを埋もれさせます。

成熟度モデル

レベル1、開始: 単一の選別されていないダッシュボードが、もしあれば、正直な視覚化の基準もガードレールの組み合わせもなく、すべての聴衆に不十分に奉仕しています。
レベル2、発展: いくつかの聴衆特有のビューが存在しますが、視覚化の基準は一貫性がなく、所有権は不明確です。
レベル3、標準化: 一貫した正直な視覚化の基準とガードレールの組み合わせを持つ聴衆特有のダッシュボードが組織全体で確立されており、それぞれに名前のついた所有者がいます。
レベル4、管理: ダッシュボードは定期的なペースで見直され、関連する場所には明示的な評価対象外の声明があり、古くなったタイルは積極的に刈り込まれています。
レベル5、最適化: 組織のダッシュボード設計の実践は信頼できるよく統治された能力であり、組織は、正直でよく設計されたダッシュボードがステークホルダーの信頼を修復したり構築したりした特定の事例を指し示すことができます。

議論のためのアイデア

私たちの現在のダッシュボードの実際の主要な聴衆は誰で、それは意図された聴衆とどう違うでしょうか。
私たちのダッシュボードのどれかが指標をそのガードレールから分離しているでしょうか。
私たちの現在のチャートは正直な視覚化の監査に合格するでしょうか。
私たちが維持するすべてのダッシュボードは明確に名前のついた責任を持つ所有者を持っているでしょうか。
私たちのダッシュボードのゼロからの聴衆優先の再設計はどのようなものになるでしょうか。

主な要点

すべての人に奉仕しようとする一つの包括的な成果物ではなく、特定の決定のための聴衆特有のダッシュボードを設計してください。
正直な視覚化の基準(トピック1.6)を厳格な要件として適用してください。ゼロベースの軸、スナップショットよりトレンド、歪んだデータについて平均より中央値です。
異なるビューをまたいでインセンティブのかかった指標をそのガードレールから決して分離しないでください。 ガードレールの組み合わせを同じダッシュボードに保ってください。
すべてのダッシュボードに名前のついた所有者とレビューのペースを割り当ててください。 トピック1.4がどんな統治された指標にも要求するのとまったく同じです。
特に活動あるいは運用負荷のデータが個人の評価に誤用されうる場所で、ダッシュボードが何のためのものではないかを明示的に述べてください。

参考文献とさらなる読書

The Visual Display of Quantitative Information, Edward R. Tufte 著。
Storytelling with Data, Cole Nussbaumer Knaflic 著。
Information Dashboard Design, Stephen Few 著。
Accelerate: The Science of Lean Software and DevOps, Nicole Forsgren、Jez Humble、Gene Kim 著。