5.3 客户与业务结果指标

概述与动机

本主题把视角从主题 5.2 功能层面的采用，扩展到一个组织真正关心的完整范围的客户和业务结果：留住或增长的营收、客户满意度和忠诚度、成本削减、规避的风险，以及对公共部门组织而言，一项使命所存在的目的所服务的公民结果。这些正是主题 1.3 置于输入-产出-结果层级顶端的结果指标，本主题正是本书直面那个主题核心挑战最艰难、最诚实版本的地方：在这个层面上的结果，很少能够单独归因于工程，而假装并非如此，恰恰会产生主题 3.3 针对个人绩效所警告的那种虚假精确问题，只是现在被放大到了整个工程组织对业务贡献的层面。

对这种归因困难的有效应对，不是放弃把工程工作与业务结果连接起来，那会放弃主题 1.3 的整个前提，而是对这种连接的强度保持诚实，使用汇聚的证据，而不是关于直接因果关系的虚假精确主张。一个运作良好的工程组织，可以证明它的工作与特定业务结果相关、有贡献，有时甚至直接驱动了特定业务结果，同时不必声称对那些同样取决于销售、营销、市场条件，以及远在工程控制范围之外做出的产品战略决策的结果拥有独占功劳。

对大团队而言，本主题的纪律决定了工程是否真正在战略桌上占有一席之地，还是被当作一个价值被假定、而不是被证明的成本中心。企业组织用客户与业务结果指标，来在与其他资本诉求的竞争中论证持续和扩大工程投资的正当性；政府组织用等效的公民结果指标，来证明公共技术支出产生了其预期的公共价值，这也日益成为监督机构衡量数字政府项目的标准。

核心原则

结果很少能够单独归因于工程。 使用汇聚的证据和诚实的相关性说法，而不是关于独占因果关系的虚假主张。
通过一条有文档记录的因果链，明确地把工程指标与结果指标连接起来， 而不只是把它们并列放在同一个仪表盘上。
政府和使命驱动的组织拥有超越营收的结果指标。 公民等待时间、错误率和服务完成率，与财务指标同等重要，甚至更重要。
一项业务结果指标是缓慢且嘈杂的。 在这里比本书几乎任何其他地方都更严格地应用主题 1.6 的统计素养。
这正是工程在非技术利益相关方那里赢得或失去可信度的地方。 用你的受众已经在使用的结果语言来说话。

建议

建立一条从工程指标到业务结果的明确、有文档记录的因果链

不要把交付指标和业务结果并排呈现、任由受众自行推断出一种联系，而要明确地构建指标树（主题 1.3）：这项具体的工程投资缩短了交付周期，这让对一项具体客户需求的响应变得更快，这与留存率的一项具体改善相关联。为这条链上的每一个环节记录自己的证据，这样整体的主张就是一连串站得住脚的独立环节，而不是从”我们改善了部署频率”到”营收增长了”的一次单一、没有支撑的跳跃。

使用诚实的相关性说法，并主动寻找混淆因素

直接遵循主题 1.6 的指导，抵制在不考虑同一时期还有什么其他变化的情况下，就声称一项工程变更导致了一项业务结果改善的做法：一次定价变化、一个竞争对手的失误、一种季节性效应、一场营销活动。把发现陈述为由一条合理因果链支撑的相关性，并明确说明你考虑过并排除了哪些混淆因素，而不是把一次单一的前后对比呈现为证明。

为公共部门和使命驱动的工作明确跟踪公民与使命结果

对政府和非营利组织而言，“营收”的等效物往往是一项公民或受益人结果：一项服务等待时间的减少，一个申请流程成功完成率的提高，一次福利计算中错误率的降低。用私营部门组织应用于营收指标的同等严谨性来跟踪这些指标，抵制仅仅因为交付指标（发布的功能、按期完成）更容易测量、也更不暴露在归因困难之中，就退回去只报告它们的诱惑。

把定量结果数据与定性客户信号结合起来

单靠数字，尤其是变化缓慢、充满噪声的业务结果数字，可能会遗漏定性信号能够直接捕捉到的背景信息：客户访谈反馈、支持工单的主题，或直接的用户研究发现。用定性信号来解释一项定量结果指标为什么变动，或者在一个问题完全显现在一个滞后数字中之前就捕捉到它正在出现，把这两者当作互补的证据，而不是把定量数据当作天生更权威的东西来对待。

用受众自己的词汇呈现结果数据

在向非技术利益相关方，高管、董事会成员、立法监督机构，进行呈现时，用他们已经在使用的语言（留住的营收、避免的成本、公民等待时间的减少）来率先呈现结果指标，只把工程指标当作说明这个结果是如何实现的支撑证据，而不是头条。这是把主题 1.3 的结果加权原则，直接应用到利益相关方沟通这项具体技能上。

权衡取舍：利与弊

方案	优点	缺点
从工程指标到业务结果声称直接因果关系	简单、有说服力的叙事	通常夸大了确定性；容易被持怀疑态度的受众戳穿
诚实的、有链条文档记录的相关性	站得住脚，建立长期可信度	呈现起来更复杂；需要更多的证据收集纪律
只报告交付情况（完全回避结果主张）	简单，规避了归因风险	未能证明工程真正的业务价值；在投资对话中显得薄弱
定量与定性结果证据相结合	更丰富、更具解释力，能捕捉单靠数字会遗漏的东西	需要更多努力来收集和综合这两类证据

核心张力是有说服力的叙事与站得住脚的诚实之间的张力。一个简单、直接的因果主张，“我们发布了这项功能，营收增长了20%“，比一条经过仔细限定、承认混淆因素的多环节因果链，是一个更有说服力的故事，但它也远更有可能是错误的，而且如果受到一位持怀疑态度的利益相关方的质疑，会损害工程组织对未来主张的可信度。解决这种张力的办法，是投资于那个更难、更诚实的版本：一条承认混淆因素的、有文档记录的因果链，依然是一个有说服力的故事，而且它拥有一个决定性的优势，那就是它能经受住审视。

与团队讨论的问题

对我们最近关于一项工程变更改善了一项业务结果的主张，我们能否记录出完整的因果链，还是我们呈现的是从一方到另一方的一次直接跳跃？ 挑一个真实的近期主张，尝试明确地填补每一个环节；链条中的缺口值得诚实地点明。
在做出那个主张之前，我们考虑过并排除了哪些混淆因素？ 如果诚实的答案是”我们其实没有真正检查过”，那这就是一个值得在下一次向持怀疑态度的受众做出类似主张之前弥补的缺口。
对我们的公共部门或使命驱动的工作而言，我们是否用私营部门组织应用于营收的同等严谨性，跟踪等效的公民或受益人结果？ 如果你的组织仅仅因为交付指标更容易而默认只用它，讨论要构建那个更难的结果指标需要什么条件。
有哪些定性信号，客户访谈、支持主题，能够解释一项定量结果指标近期的变动、而数字本身无法解释？ 找出一个具体的案例，在那里定性证据能为你已经观察到的一个定量趋势增添真正的解释价值。
当我们向非技术利益相关方呈现时，我们是用他们的词汇率先呈现结果指标，还是用一个他们必须自己翻译的工程指标？ 回顾一次近期的呈现，检查哪个先出现，哪个被定位为头条。
我们是否曾经在一项结果主张上受到质疑，发现自己无法在审视下为它辩护？ 如果发生过这种情况，讨论什么样的证据本可以让这个主张站得住脚，并把这个教训应用到未来主张的构建和记录方式上。

行业视角

初创公司。 在这个规模上，结果归因往往更清晰，因为一家小公司可以更直接地把一项具体功能追溯到一项具体指标的变动，而不会有太多组织复杂性稀释这种联系。即便如此，也要抵制在不至少简单考虑季节性或一场同步营销推广等明显混淆因素的情况下，就声称直接因果关系的诱惑。

小型企业。 专注于最直接反映生存和增长的那项结果指标，营收、回头客、成本削减，并通过简单、诚实的定性推理，而不是你很可能没有能力严谨执行的复杂统计分析，把工程工作与它连接起来。

企业。 在这个规模上，建立从工程指标到业务结果的有文档记录的因果链，确实很困难，因为存在组织复杂性和许多混淆因素，但这也正是这份投入回报最大的地方，因为工程在资本分配对话中的可信度，直接取决于这种站得住脚的证据。

政府。 公民和使命结果指标，日益成为监督机构的期望，而一个只能报告交付指标（发布的功能、按期完成）的项目，恰恰会招致本主题旨在帮助你预先化解的那种怀疑。投资于明确跟踪公民结果，即使它们比一个简单的交付数量更难测量，因为这份投入直接保护了未来的资金和可信度。

案例

企业。 一家软件即服务公司的工程领导层，希望向一个专注于功能开发速度、持怀疑态度的财务团队，论证继续投资平台可靠性工作的正当性。该团队没有声称可靠性改善直接导致了营收增长，而是建立了一条有文档记录的链条：可靠性投资减少了客户报告的停机事件，根据公司自己的流失模型，停机事件与随后三十天内升高的流失风险强相关，而在这项投资之后经历较少事件的客户群体，与一个可比的投资前群体相比，显示出可衡量更低的流失率，季节性和定价变化被明确检查并排除为混淆因素。这条经过细致记录、诚实限定的链条，比前一年一次更宽泛的直接因果主张，对这个持怀疑态度的财务团队更具说服力。

政府。 一个国家数字身份项目，需要向一个对该项目持续成本持怀疑态度的立法委员会证明其价值。该项目没有报告交付指标（发布的模块、按期完成），而是直接报告了公民结果指标：完成一次身份验证的中位数时间，从数天缩短到不足十分钟，而无需亲自到场办事处的自助服务完成率，则大幅上升。这些结果指标，结合使用过这项服务的公民的定性证词，被证明比该项目在此前预算周期中使用的、以交付为重点的报告，对委员会更有说服力，并直接支持了持续资助的批准。

商业理由：动机、投资回报与总拥有成本

严谨、诚实的客户与业务结果测量的回报，是工程在战略对话中的可信度：一个能够站得住脚地把自己的工作与真实结果连接起来、并对归因的局限保持恰当诚实的组织，在未来的投资决策中，比一个要么夸大其词（并被发现）、要么完全回避结果主张（因而看起来像一个没有可证明业务价值的成本中心）的组织，赢得更强的地位。

总拥有成本是建立并记录因果链、检查混淆因素、把定量与定性证据结合起来所需的分析工作，这确实比一句简单、没有支撑的相关性主张需要更多工作。这份投入值得付出，具体原因是替代方案，一个后来无法经受审视的夸大主张，其长期可信度代价远高于额外严谨性的前期成本。

反模式与陷阱

在不检查混淆因素的情况下声称直接因果关系： 夸大了确定性，如果受到质疑，冒着损害可信度的风险。
把工程指标和结果指标并排呈现，却没有有文档记录的因果链： 诱使受众推断出一种可能并不真正成立的联系。
仅仅因为交付指标更容易测量，就默认为公共部门或使命驱动的工作只使用它： 未能证明利益相关方真正关心的结果。
把定量结果数据当作天生比定性证据更权威： 错过了单靠数字无法提供的背景和解释力。
向非技术利益相关方呈现时使用工程词汇而不是结果词汇： 削弱了一个真正有力论证的说服力。
完全回避结果主张以规避归因困难： 让工程真正的业务价值未被证明、未被充分认可。

成熟度模型

第一级，启动： 工程只报告交付和活动指标；不尝试与业务或公民结果建立联系。
第二级，发展： 提出了一些结果主张，但没有有文档记录的因果链，也没有考虑混淆因素。
第三级，标准化： 结果主张在全组织范围内建立在有文档记录的多环节因果链之上，明确考虑了混淆因素。
第四级，管理： 定量与定性结果证据被系统性地结合起来，结果数据一贯地用利益相关方的词汇呈现。
第五级，协奏： 工程拥有一份经过证明、可信赖的记录，说明其站得住脚的结果主张经受住了审视，结果数据直接、常规地为组织最高层级的战略投资决策提供依据。

讨论思路

我们当前把工程工作与一项真实业务或公民结果连接起来的最有力证据是什么？
在提出一项结果主张之前，有哪个混淆因素我们从未真正检查过？
如果适用于我们，我们是否用与财务指标同等的严谨性跟踪公民或使命结果？
什么样的定性证据能够强化我们当前最好的定量结果故事？
如果我们率先呈现的是结果而不是交付指标，我们上一次面向利益相关方的重要呈现会有什么不同？

要点回顾

结果很少能够单独归因于工程；使用汇聚的证据和诚实的相关性说法，而不是关于独占因果关系的虚假主张。
建立一条从工程指标到业务结果的明确、有文档记录的因果链，在每一个环节都检查混淆因素。
为公共部门和使命驱动的工作跟踪公民和使命结果，其严谨性与私营组织应用于营收的严谨性相同。
把定量与定性证据结合起来；单靠数字常常遗漏解释一项结果为什么变动的背景信息。
用受众自己的词汇呈现结果数据，对非技术利益相关方，以结果、而不是工程指标率先呈现。

参考文献与延伸阅读

Continuous Discovery Habits，Teresa Torres著（把产品和工程决策与客户结果证据连接起来）。
Lean Analytics，Alistair Croll、Benjamin Yoskovitz著（结果指标与”唯一重要指标”的框架）。
How to Measure Anything，Douglas W. Hubbard著（量化业务价值并诚实地处理归因不确定性）。
美国政府问责局（GAO）关于绩效测量和《GPRA现代化法案》的指导：基于结果的公共部门报告标准。