1.4

1.4 指标治理与所有权

概述与动机

一个没有所有者的指标,就是一场等待发生的常设争论。两个团队用不同方式计算”活跃用户”,然后把一次会议花在核对数字上,而不是管理趋势;一块无人维护的仪表盘瓷砖悄悄过时了数月,却无人察觉;一个原本为某个团队的诊断而构建的指标,被另一个团队挪去用于其原始定义从未设计支持的用途。这些都不是统计意义上的衡量问题。这是一个治理问题,而它可以用组织已经应用于代码的那套自律来解决:明确的所有权、一份文档化的权威数据源,以及一套评审流程。

治理不是为了官僚主义本身而存在的。它是让一个指标项目在与组织规模的碰撞中存活下来的东西。单个团队可以把指标定义存在某个人的脑子里,通过每天的交流纠正漂移。而一个拥有几十个团队、每个团队都在生产和消费指标的组织做不到这一点。没有治理,定义会悄然漂移,指标会不断增殖却无人修剪,等到领导层察觉两份报告互相矛盾时,协调它们的代价早已在浪费掉的会议和被侵蚀的信任中支付了许多倍。

对企业和政府组织而言,治理承载着额外的分量,因为指标越来越多地支撑着带有真实后果的决策(预算分配、公开绩效报告、供应商合同)这些决策的存续期,超过了构建最初那块仪表盘的任何一个人。一份能挺过人员更替、任何新成员都能读懂的指标章程,才是让一个组织的数字在五年后依然与今天意味着同一件事的关键。

核心原则

  • 每个指标都恰好只有一个所有者。 共享所有权就是没有所有权;当所有人都拥有一个定义时,没有人会去维护它。
  • 一个指标只有一个权威数据源。 两个系统以不同方式计算同一个指标,是一次迟早会浮出水面的治理失败。
  • 治理是写下来的,而不是部落知识。 一份只存在于某人记忆中的指标章程,无法挺过那个人的离开。
  • 退役与采纳同样重要。 一个健康的指标项目会像生长一样刻意地修剪。
  • 治理的规模应随后果而变化,而不是随指标数量而变化。 一个支撑公开报告的指标,需要比一个单个团队用来调试自身冲刺的指标更重的治理。

建议

为每一套跨越团队边界的指标编写一份指标章程

指标章程是一份简短、持续更新的文档,陈述一套指标的目的、其明确的非目标(主题 1.1”诊断性与评价性”的区分应写在这里)、每个指标的所有者与权威数据源,以及评审节奏。把它控制在一页以内。本书配套仓库中的docs/examples/metrics-charter-example.md文件展示了它的样貌。这么短的一份章程会被人读;而一份膨胀成政策文件的章程不会。

为每个指标指定一位具名所有者,而不是一个团队

“平台团队拥有这个指标”会把责任分散到无人真正维护它的地步。指名一个人,或一个具体的、可问责的角色。这位所有者负责让指标的定义保持准确、埋点保持健康,并在”为什么这个数字看起来不对”这个问题不可避免地出现时予以回答。所有权可以、也应当随人们角色的变化而轮换,但章程中应当始终写明当前的所有者,绝不能把这一栏留空。

为每个指标确立一个权威数据源,禁止并行计算

当两个系统以不同方式计算名义上同名的指标时(例如一个团队的”活跃用户”计的是登录次数,另一个团队计的是API调用次数)由此产生的分歧,在协调会议上所耗费的成本,远高于事先就统一一个权威数据源所需的成本。在章程中为每个指标指明权威系统,并把对同一指标的任何其他计算,要么当作需要修复的缺陷,要么当作需要改名的一个不同指标来对待。

把退役审查内建到治理节奏之中

一个只增加指标、从不退役的指标项目,会积累出无人能据以行动的仪表盘冗余(主题 1.1)。在每一次治理评审中,在提议新指标的同时,也要问一问:哪些现有指标在过去两个周期里没有为任何决策提供信息,是退役的候选对象。退役不是失败;这是一个健康的代码库对待死代码时所应用的同一种自律。

让治理的严格程度随后果而变化,而不是随数量而变化

并非每个指标都需要相同的流程。一个团队为调试自身冲刺而自行发明的指标,除了团队自己知道它的含义之外,几乎不需要任何治理。一个支撑高管记分卡、公开绩效报告或个人薪酬的指标,则需要一份文档化的定义、一位具名所有者、一条审计轨迹,以及上线前的签核。让你的流程分量与该指标出错的后果相匹配,而不是与指标的数量相匹配。

权衡取舍:利与弊

方案优点缺点
没有正式治理对小团队而言快速、开销低定义会漂移;所有权会分散;仪表盘会不受控地蔓延
每套指标一份轻量级章程成本低、可读、能随组织扩展需要自律才能保持更新;在截止日期压力下容易被跳过
重型的中央指标治理委员会一致性强、审计轨迹强批准新指标缓慢;可能成为团队绕开的瓶颈
治理随后果分级让投入与实际风险相匹配需要判断力才能正确地对后果分类;可能被低估风险的方式操纵

核心张力是一致性与速度之间的张力。重型的中央治理能产出可信、一致的指标,却恰恰会在团队想要快速埋点以回答一个紧急问题时拖慢它。解决之道是让治理的分量随后果分级:让团队为自己的诊断用途自由埋点,只在指标跨越团队边界、或支撑评价性或公开用途时,才要求完整的章程、所有权与签核自律。

与团队讨论的问题

  1. 每一个跨越团队边界的指标,是否都有具名所有者,如果今天被问起,那位所有者会认为自己对此负责吗? “平台团队拥有它”不是一个答案;一个具体的人或角色才是。审计你跨团队的指标,检查那位具名所有者(如果确实存在的话)是否真的知道自己担负着这份责任。

  2. 我们目前在哪些地方,用两种不同的方式计算名义上同名的指标,我们为协调这种分歧花了多少时间? 这是大型组织中最昂贵、也最常见的治理失败之一,而它完全可以通过一份文档化的单一权威数据源来预防。如果你有一个真实的例子,拿出来,追溯它的代价。

  3. 我们上一次退役某个指标是什么时候,是什么触发了那个决定? 一个只能描述自己如何增加指标、却从不描述如何移除指标的组织,正在积累仪表盘债务。如果你想不起一次退役,这份空白本身就是这个问题的答案。

  4. 我们的治理流程是否与后果成正比,还是无论利害关系如何,每个指标都要经历同样分量的评审? 对一个低风险的团队指标施加过重的治理,会拖慢工作却毫无安全收益;对一个支撑公开报告或薪酬决策的指标施加过轻的治理,则是真实的风险。按后果为你当前的指标分类,诚实地核对流程分量是否与之相符。

  5. 当构建某个指标的人换了角色或离开时,这个指标的所有权会怎样? 一份只存在于某个人脑子里的指标章程,会随那个人一起消失。用挑一个指标来做测试:一位新员工,仅凭书面文档,能否理解它的定义、权威数据源和用途?

  6. 如果一个指标的定义被悄悄改变了,我们会如何知道? 计算方式的改变,如果没有伴随名称变化或历史记录中的说明,几乎是不可见的,直到有人比对新旧数据、发现一个自己无法解释的断层为止。讨论一下,你们的指标今天是否带有任何形式的变更日志。

行业视角

初创公司。 对一个人人都已经知道每个数字含义的五人团队而言,正式治理通常是杀鸡用牛刀。但仍然值得及早养成的一项自律,是以书面形式为每个指标指定唯一的所有者,因为这几乎不花什么成本,却能在最初几名新员工加入并开始追问某个数字是什么意思时,防止混乱。

小型企业。 这里的治理主要意味着为每个指标选定一个工具作为权威数据源并坚持下去,而不是任由电子表格和平台自带的仪表盘悄悄产生分歧。把章程写成一份共享文档,哪怕是非正式的,好让新员工不必四处打听就能知道某个数字的含义。

企业。 这正是治理发挥价值的地方。在各业务单元之间统一定义,要求任何支撑高管记分卡的指标都要有章程,并把退役审查内建到一个反复出现的治理节奏之中,因为在这样的规模上,仪表盘蔓延很快就会变得代价高昂,无论是在维护成本上,还是在两个事业部就同一件事报告出相互矛盾的数字时所造成的信誉损失上。

政府。 这里的治理往往带有法律或审计维度:公开发布的绩效衡量可能需要满足法定报告要求,而一次定义变更可能带来真实的政治后果。公开记录方法论,在跨报告周期中冻结定义,除非变更本身能被公开地证明为合理,并把对指标定义本身(而不仅仅是其当前数值)的独立审计,当作一项常设的治理实践。

案例

企业。 一家跨国软件公司在一次收购后的整合过程中发现,其两大业务单元对”部署频率”的定义并不相同:一个计的是每一次推送到预发布环境,另一个只计生产环境的发布。领导层已经用这些实际上并不可比的数字,比较两个单元的交付表现整整一年之久。修复方案是设立一个覆盖全公司的指标治理委员会,发布一份统一的指标定义词汇表(在本书主题 9.2 有对应版本),要求每个团队认证合规,并在一个季度之内退役了那些含糊的本地定义。

政府。 一家负责发布数字服务绩效仪表盘的国家统计局发现,“在SLA内解决”这一计算方式的一次变更(由一个工程团队悄悄做出,他们认为自己只是在修一个缺陷)使一项头条合规数字移动了好几个百分点,却没有任何公开文档记录这次变更。该局为任何支撑公开报告的指标定义建立了一套正式的变更控制流程:提议的变更需要文档化的理由、一份随变更一起发布的前后对比,以及一位具名的负责官员的签核,从而堵上了此前那次变更未经察觉就悄然通过的漏洞。

商业理由:动机、投资回报与总拥有成本

治理的回报是避免协调成本。每一小时花在两个团队为谁的数字才对而争论的会议上的时间,本可以被自律的治理(一个权威数据源、一位具名所有者)完全避免。在企业规模上,这份成本会在几十个团队之间累积,可能消耗掉领导层相当可观的一部分注意力,去处理一个每套指标一页纸的章程本可避免的问题。

一套轻量级治理实践(章程、具名所有者、定期评审)的总拥有成本是温和的,且主要发生在前期。而另一种选择(在一项重大计划推进一年之后才发现领导层一直信任的数字其实从未真正可比)所付出的代价要大得多,无论是在浪费掉的分析上,还是在事后纠正公开或内部记录时所造成的信誉损害上。

反模式与陷阱

  • 团队所有权而非具名个人所有权: 把问责分散到无人真正维护该定义的地步。
  • 对同一名义指标的并行计算: 必然导致最终的分歧与昂贵的协调。
  • 一份只存在于某人脑子里的章程: 在那个人换角色的瞬间就会消失。
  • 一个只增加、从不退役的指标项目: 产生无人能据以行动的仪表盘蔓延。
  • 无论后果如何都施加统一的治理分量: 拖慢低风险的工作,同时对高风险的公开或与薪酬挂钩的指标保护不足。
  • 悄然的定义变更: 一个指标的含义在没有变更日志的情况下发生改变,历史比较也就悄然失效。

成熟度模型

  • 第一级,启动: 指标没有正式所有者;定义存在于个人记忆之中,并在各团队之间悄然漂移。
  • 第二级,发展: 部分团队为自己的指标编写了非正式文档,但没有共享的章程格式,也没有跨团队的一致性。
  • 第三级,标准化: 每一个跨越团队边界的指标都有一份文档化的章程、一位具名所有者,以及一个各方同意的唯一权威数据源,并在整个组织中得到执行。
  • 第四级,管理: 一个反复出现的治理节奏,审查指标是否仍具相关性,退役那些不再值得维护的指标,并以可见的历史记录跟踪定义变更。
  • 第五级,协奏: 治理与后果成正比,尽可能实现自动化(一个能标记出无文档或无所有者指标的指标目录),组织能够按需展示任何已发布数字的完整来龙去脉。

讨论思路

  1. 一位新员工,仅凭文档,能否查明我们三个最重要指标的真实含义?
  2. 我们的哪些指标目前正被两套不同系统以不同方式计算?
  3. 我们上一次退役某个指标是什么时候,我们是如何决定的?
  4. 在后果最高之处,我们的治理流程是否更重,还是始终如一?
  5. 我们组织唯一最具后果性的公开指标,由谁具名拥有?

要点回顾

  • 每个指标都需要一位具名所有者,而不是一个团队;以及一个权威数据源,而不是并行计算。
  • 为任何跨越团队边界的指标集编写一份简短、持续更新的指标章程,陈述目的、非目标、所有权与评审节奏。
  • 退役与采纳同样重要的治理自律;要刻意地修剪。
  • 让治理的严格程度随后果分级,而不是随指标数量分级:对公开、评价性或与薪酬挂钩的指标施加更重的流程。
  • 指标定义可能悄然漂移;用可见的历史记录跟踪变更,让一个数字的可信度经得起人员更替。

参考文献与延伸阅读

  • Data Governance: How to Design, Deploy, and Sustain an Effective Data Governance Program,John Ladley著(可应用于指标项目的治理结构)。
  • Measuring and Managing Performance in Organizations,Robert D. Austin著(围绕指标所有权与使用的组织失灵现象)。
  • Key Performance Indicators,David Parmenter著(指标所有权、定义自律与评审节奏)。
  • 美国政府问责署(GAO)关于绩效衡量与《GPRA现代化法案》的指南:公共部门指标治理与变更控制。