8.1

8.1 设计一套工程指标仪表盘

概述与动机

本书所涵盖的每一项指标,最终都必须存在于真实人们真正会去看的某个地方,而一份设计糟糕的仪表盘,能够毁掉前面每个主题的细致工作:诚实的、治理良好的、护栏配对的指标,一旦被不诚实地呈现、呈现得杂乱无章,或呈现给了错误的受众,就会产生恰恰是本书一直努力防止的那种困惑和不信任。本主题讲的是仪表盘设计这门具体的手艺:决定给谁看什么,诚实地把它可视化,并把整个产出物构建得真正被用来做决策,而不是被忽视,或者更糟,被误读。

本主题所建议的核心纪律,是面向特定受众的设计。一份为个别工程团队的每日站会而构建的仪表盘,需要与一份为季度高管评审而构建的仪表盘不同的指标、不同的粒度和不同的视觉密度,而一份试图服务两种受众的、放之四海而皆准的单一仪表盘,通常两者都服务不好。本主题把仪表盘设计当作一门真正的设计学科,而不只是报告的事后补充,自始至终借鉴主题 1.6 的统计诚实原则:每一个可视化选择,要么帮助、要么妨碍读者从数据中得出正确结论的能力。

对大团队而言,仪表盘设计正是本书许多单项指标层面的护栏,要么在实践中存活下来、要么被丢失的地方。运营着数十个团队仪表盘的企业组织,需要在不僵化的前提下保持一致性,也就是既有共享标准、又仍能满足每种受众具体需求的一致性;仪表盘可能面临公众审查、或作为监督报告依据的政府组织,需要以格外的严谨性应用本主题所建议的诚实可视化标准,因为一张被外部审阅者发现具有误导性的图表,其对可信度的损害,远远超出所涉及的那项具体指标。

核心原则

  • 为一个具体的受众和决策而设计,而不是为全面覆盖而设计。 一份试图服务所有人的仪表盘,通常谁都服务不好。
  • 每一个可视化选择,要么有帮助,要么积极误导人。 严格应用主题 1.6 的统计诚实性:真实的趋势、诚实的坐标轴、可见的不确定性。
  • 数量更少、精心挑选的指标,胜过全面的覆盖。 本书从主题 1.1 开始一贯的原则,直接适用于仪表盘设计。
  • 一份仪表盘需要一位所有者和一个审阅节奏, 恰如任何其他被治理的指标(主题 1.4),否则它会退化成一件无人维护、不被信任的产出物。
  • 护栏配对属于同一个视图。 绝不要把一项被激励的指标与它的护栏分开放在不同的仪表盘或不同的板块上。

建议

为不同的受众和决策设计不同的仪表盘

构建独立的、有具体目的的视图,而不是一份服务所有受众的仪表盘:一份团队层面的运营仪表盘(每日或每周节奏,供团队自用的细粒度交付和质量指标)、一份领导层仪表盘(每月或每季度节奏,依据主题 7.4 以结果加权、指标更少、背景更多),以及在相关的地方,一份面向外部的仪表盘(面向客户、监督机构或公众,依据主题 1.4 后果加权的严谨性被小心地治理)。每一份都服务于一个不同的决策,应当专门为那个决策而设计,而不是作为单一主仪表盘的一个过滤视图。

一贯地应用诚实的可视化标准

把主题 1.6 的统计诚实原则当作硬性的设计要求,而不是可有可无的修饰:除非有一个明确、可见的例外被记录下来,否则数值轴从零开始;呈现随时间变化的趋势,而不是单一快照;对偏态数据使用中位数和百分位数,而不是均值;并对背景(部署、事件、组织变化)加以注释,这样读者才能把一次真实的变化与噪声区分开来。避免主题 1.6 直接点名的具体图表操纵手法:暗示虚假相关性的双轴、精心挑选的日期范围,以及扭曲比例的3D效果。

绝不把一项指标与它配对的护栏分开放在不同的视图上

把主题 1.2 的护栏配对原则,当作一条硬性的仪表盘设计规则来应用:部署频率与变更失败率(主题 2.10)属于同一个视图,始终一起可见,绝不能被拆分到一份”速度”仪表盘和一份不同受众可能孤立查看的独立”质量”仪表盘之间。这不是一个次要的排版偏好;把一项指标与它的护栏分开放在不同的仪表盘上,即使两个数字在技术上都在某处被跟踪着,也恰恰重现了主题 1.2 所警告的那种激励暴露风险。

为每一份仪表盘指定一位具名所有者和一个审阅节奏

把主题 1.4 的治理纪律直接应用到仪表盘这个产出物本身,而不只是应用到它所显示的单项指标:指定一位对仪表盘持续的准确性和相关性负责的所有者,并设定一个添加、退役或重新考虑指标的审阅节奏。一份没有所有者的仪表盘,会以与一项没有所有者的指标(主题 1.4)完全相同的方式退化,积累起没有人有权力或责任去修剪的过时图块。

建立一份明确、可见的声明,说明这份仪表盘不用于什么

遵循主题 1.1 诊断性与评价性的区分,对任何指标可能被合理地滥用于个人评估的仪表盘,直接、可见地声明这份仪表盘不用于什么:“这些指标描述的是团队和系统的健康状况;它们不被用于个人绩效评估。“这份明确的声明,尤其应用于任何包含活动数据(主题 3.4)或待命负荷数据(主题 6.3)的仪表盘,是一个小小的设计选择,却对防止本书自始至终所警告的那种评价性漂移,具有超乎比例的效果。

权衡取舍:利与弊

方案优点缺点
一份服务所有受众的综合仪表盘构建和维护单一产出物简单没有哪个具体受众能被服务好;对一些人来说令人应接不暇,对另一些人来说又不够
面向特定受众的仪表盘每一份都能很好地服务它真实的决策需要构建、维护并保持一致的产出物更多
每个视图都全面覆盖指标什么都不会被遗漏仪表盘疲劳;埋没了对该受众决策真正重要的指标
每份仪表盘上都进行最小化、由决策驱动的指标选择聚焦、可操作,更容易被信任需要刻意的策展纪律,并冒着遗漏某些相关内容的风险

核心张力是全面性与聚焦性之间的张力,这是主题 1.1 的基础性张力专门应用到仪表盘设计上。一份全面的仪表盘感觉更安全,没有任何东西被遗漏,但它通常比一份专门围绕该受众需要做出的决策而构建的聚焦仪表盘,更差地服务于它真实的受众。解决这种张力的办法,是构建多份、有具体目的的仪表盘,而不是一份综合仪表盘,接受几份聚焦产出物所带来的适度额外维护成本,来换取每一份都真正对其预期受众有用。

与团队讨论的问题

  1. 我们当前的仪表盘是否试图同时服务多种受众,如果是,它实际上服务好了谁? 走一遍你现有的仪表盘,识别出它真实的主要受众,与它预期的受众相比;这里的不匹配很常见,值得直接点明。

  2. 我们的仪表盘中,是否有哪一份把一项被激励的指标与它配对的护栏分开放在了不同的视图上? 专门审计你当前的仪表盘,寻找这种模式,把第2部分的每一项DORA指标及其配对作为起点来检查。

  3. 我们仪表盘的可视化,能否通过主题 1.6 诚实可视化标准的检验:从零开始的坐标轴、趋势胜过快照、对偏态数据用中位数而不是均值? 直接对照这份检查清单审查你当前的图表。

  4. 我们维护的每一份仪表盘,是否都有一位具名的所有者和一个审阅节奏,还是有一些只是存在着、没有任何人负责让它们保持准确和相关? 如果任何一份仪表盘缺少具名的所有者,这个缺口值得立即弥补,因为一份没有所有者的仪表盘,会以与一项没有所有者的指标完全相同的方式退化。

  5. 是否有任何指标可能被合理地滥用于个人评估的仪表盘,明确声明了它不用于什么? 专门检查任何包含活动或待命负荷数据的仪表盘是否有这份明确的声明。

  6. 如果我们今天从零开始,逐个受众地重新设计我们的仪表盘,从每种受众需要做出的决策开始,结果会与当前存在的东西有多大不同? 这个思想实验,常常揭示出仪表盘结构有多少是由惯性积累而成的,而不是由刻意设计而成的。

行业视角

初创公司。 在这个规模上,一份单一、简单的仪表盘通常是恰当的,因为整个团队和领导层往往就是同一小群人,做出的也大体是同样的决策。即使在小规模下,也要专注于诚实的可视化标准和明确的非评估声明,因为这些习惯在早期建立起来,比后来再补救要容易得多。

小型企业。 大多数现成工具都提供合理的默认仪表盘;主要的纪律,是把它们策展成真正为你具体业务提供依据的那几项指标,而不是显示工具默认碰巧计算出的每一项指标。

企业。 在这里,不僵化的一致性是核心挑战:数十份团队仪表盘需要足够的共享标准(诚实的可视化规则、护栏配对、所有权纪律),才能值得信赖、可以比较,同时依然允许每个团队具体的运营需求塑造自己的视图。投资于一套通过治理(主题 1.4)强制执行的共享仪表盘设计标准,而不是要么用一个僵化、一刀切的模板,要么用完全无结构、不一致的本地仪表盘。

政府。 面临外部或监督审查的仪表盘,需要在诚实可视化和明确的治理文档方面格外严谨,因为一张被外部审阅者发现具有误导性的图表,其对机构可信度的损害,远超出所涉及的那项具体指标。专门对任何面向外部的仪表盘,应用本主题建议中最高的标准。

案例

企业。 一家物流科技公司多年来一直维护着一份单一的”工程健康”仪表盘,同时供个别工程团队和高管领导团队查看,其中包含超过四十个图块,涵盖从个人提交数量到季度业务结果的一切。两种受众都没有觉得它真正有用:工程师认为业务结果图块与他们的日常工作无关,无视了它们,而高管则被没有解读背景的细粒度交付指标弄得应接不暇。把它拆分成一份聚焦的、六个图块的团队运营仪表盘,和一份独立的、八个图块的领导层仪表盘,两者都遵循本主题的护栏配对和诚实可视化标准,产生了可衡量更高的参与度,关键的是,高管们第一次报告说,当自己的领导层问起时,他们能够解释这些数字意味着什么。

政府。 一家州政府面向公众的数字服务仪表盘,曾因一张用截断的y轴显示”平均”处理时间的图表而受到公开批评,这张图表在视觉上夸大了一项适度的改善,违反了主题 1.6 的诚实可视化标准,被一位外部科技记者发现并报道。该机构重新设计的仪表盘,明确依照本主题的标准构建,从零开始的坐标轴、对右偏的处理时间数据使用中位数而不是均值,以及对任何显著变化的清晰背景注释,在一篇后续文章中被特别赞誉为透明公共部门数据呈现的典范,直接修复了此前那张具有误导性图表所损害的可信度。

商业理由:动机、投资回报与总拥有成本

刻意的、面向特定受众、诚实设计的仪表盘的回报,是真正的使用和真正的信任:上面的物流公司案例,展示了一份设计糟糕的单一仪表盘的直接代价,也就是两种预期受众参与度都很低,也展示了重新设计的直接收益,一旦每种受众都获得了一份真正为其自身决策构建的视图,参与度就出现了可衡量的提高。

总拥有成本是设计和维护多份、有具体目的的仪表盘、而不是一份综合产出物所需的努力,再加上本主题所建议的持续治理纪律(具名的所有权、审阅节奏)。相比一份无人使用、或更糟、积极误导其受众并损害可信度的仪表盘的风险,这份成本是适度的,正如上面的政府案例具体展示的那样。

反模式与陷阱

  • 一份试图服务所有受众的单一仪表盘: 通常谁都服务不好。
  • 把一项被激励的指标与它的护栏分开放在不同的视图上: 重现了主题 1.2 所警告的激励暴露风险。
  • 不诚实的可视化选择: 被截断的坐标轴、精心挑选的日期范围,以及双轴,都会误导读者,有时还会带来真实的声誉后果。
  • 仪表盘本身没有具名的所有者或审阅节奏: 这个产出物会以与一项没有所有者的指标完全相同的方式退化。
  • 没有明确声明一份仪表盘不用于什么: 招致本书自始至终所警告的那种评价性漂移。
  • 全面的图块覆盖,胜过聚焦的、由决策驱动的策展: 产生仪表盘疲劳,埋没了真正重要的东西。

成熟度模型

  • 第一级,启动: 一份单一、未经策展的仪表盘,如果有的话,糟糕地服务所有受众,没有诚实的可视化标准或护栏配对。
  • 第二级,发展: 存在一些面向特定受众的视图,但可视化标准不一致,所有权也不清晰。
  • 第三级,标准化: 面向特定受众的仪表盘,配以一致、诚实的可视化标准和护栏配对,在全组织范围内建立起来,每一份都有具名的所有者。
  • 第四级,管理: 仪表盘按一个固定节奏被审阅,在相关的地方有明确的非评估声明,过时的图块被主动修剪。
  • 第五级,协奏: 组织的仪表盘设计实践是一项可信赖、治理良好的能力,组织能够指出具体的实例,说明诚实、设计良好的仪表盘修复或建立了利益相关方的信任。

讨论思路

  1. 我们当前仪表盘真正的主要受众是谁,与它预期的受众相比?
  2. 我们的仪表盘中,是否有哪一份把一项指标与它的护栏分开了?
  3. 我们当前的图表能否通过一次诚实的可视化审计?
  4. 我们维护的每一份仪表盘,是否都有一位明确指定、承担责任的所有者?
  5. 一次从零开始、以受众为先的仪表盘重新设计,会是什么样子?

要点回顾

  • 为具体的决策设计面向特定受众的仪表盘,而不是一份试图服务所有人的综合产出物。
  • 把诚实的可视化标准(主题 1.6)当作硬性要求来应用:从零开始的坐标轴、趋势胜过快照、对偏态数据用中位数而不是均值。
  • 绝不把一项被激励的指标与它的护栏分开放在不同的视图上;把护栏配对保留在同一份仪表盘上。
  • 为每一份仪表盘指定具名的所有者和审阅节奏,恰如主题 1.4 对任何被治理指标的要求。
  • 明确声明一份仪表盘不用于什么,尤其是在活动或运营负荷数据可能被滥用于个人评估的地方。

参考文献与延伸阅读

  • The Visual Display of Quantitative Information,Edward R. Tufte著(关于诚实、高完整性数据可视化的奠基性著作)。
  • Storytelling with Data,Cole Nussbaumer Knaflic著(面向商业受众的实用仪表盘和图表设计)。
  • Information Dashboard Design,Stephen Few著(针对仪表盘的、面向有效、诚实沟通的设计原则)。
  • Accelerate: The Science of Lean Software and DevOps,Nicole Forsgren、Jez Humble、Gene Kim著(本主题直接应用于仪表盘布局的指标配对纪律)。