7.4 结果遥测作为新的北极星

概述与动机

本主题以一个单一、直接的主张，为第7部分收尾，从真正的意义上说，也为本书自主题 1.3 以来一直在构建的整个论证收尾：随着生成式人工智能让原始产出变得廉价，结果遥测，也就是对真实结果、而不是活动或产出的持续、埋点化测量，不再只是几种良好实践中的一种，而是变成了一套指标项目必须围绕之而构建的组织原则。这不是一个在这里第一次被引入的新理念。它正是主题 1.3 在本书开篇部分引入的理念，现在被呈现为对一场让每一种替代方案都比它以前更危险的技术转变的必要回应，而不仅仅是一种更可取的回应。

这个逻辑是直接的。在生成式人工智能出现之前，产出量是一个不完美、却并非毫无价值的努力代理指标，也松散地是一个价值代理指标；一个发布了更多功能的团队，至少做了更多工作，即使那份工作并不总是正确的工作。生成式人工智能切断了即使是这种松散的联系：产出量不再可靠地表明努力，因为一个工具能在几秒钟内生成它，它当然也不表明价值，因为主题 7.3 已经展示过，膨胀的产出可以与恶化的质量共存。经受住这场转变、完好无损地存活下来的指标，恰恰是本书自开篇几个主题以来一直强调要朝其构建的那些指标：逃逸缺陷率（主题 5.1）、功能采用（主题 5.2）、客户与业务结果（主题 5.3）、可靠性（第6部分），以及开发者幸福感（第3部分）。这些指标中没有任何一个依赖于底层代码是如何被生产出来的；它们全都衡量的是作为结果，实际上发生了什么。

对大团队而言，本主题的论证对今后应当如何构建和重建一套指标项目具有直接、实际的后果。正在因应人工智能采用而重新设计其工程仪表盘的企业组织，应当把投资专门向本主题所描述的结果遥测基础设施倾斜；同时评估人工智能工具及其所嵌入的更广泛技术项目的政府组织，应当用本主题所建议的同一套结果遥测标准来衡量两者，把它作为任何可信、面向未来的评估的基线。

核心原则

一旦产出变得廉价，结果遥测就变成了必要的，而不仅仅是更可取的。 这是主题 1.3 的立基原则，现在变得紧迫，而不再只是一种愿望。
经受住这场转变的指标，正是本书自始至终一直朝其构建的那些指标： 逃逸缺陷、采用、业务结果、可靠性和幸福感。
一套主要围绕产出指标构建的指标项目，现在是一项负债，而不仅仅是一个次优选择。 产出指标可以在规模上被廉价、迅速地虚增。
结果遥测需要真正的投入， 埋点、对更慢信号的耐心，以及抵御朝更快、更廉价、但现在已不可靠的产出指标拉去的组织纪律。
这条原则比任何具体的人工智能工具或供应商都更长久。 它是对产出意味着什么这一持久转变的持久回应，而不是对一时流行趋势的临时调整。

建议

审计你的指标投资比例：结果遥测与产出跟踪

大致计算一下，你当前指标基础设施中，埋点工作、仪表盘版面、评审会议时间，有多大份额流向了结果指标（第5部分、第6部分，以及第3部分的开发者幸福感），又有多大份额流向了产出和活动指标（部署数量、提交量、拉取请求吞吐量）。如果产出跟踪占主导，鉴于本主题的论证，这个比例本身现在就是一项负债，重新平衡它是本主题所建议的杠杆最高的单一变化。

刻意投资于结果遥测基础设施，把它当作一流的工程投资

结果测量，功能采用跟踪、业务结果关联（主题 5.3）、可靠性埋点（第6部分），需要真正、持续的工程投入，而许多组织在历史上，相对于当今许多仪表盘中占主导、相对廉价且容易的产出指标而言，一直对它投入不足。用本书对待任何其他重大工程能力同等的严肃性来对待这项基础设施投资，而不是把它当作人工智能工具投资本身背后的次要关切。

接受并传达结果遥测更慢这一事实，并把对此的耐心纳入你组织的预期之中

结果指标，几乎就其本质而言，比产出指标更滞后、更嘈杂（主题 1.3 的先行与滞后之分，主题 1.6 的统计谨慎）。一个习惯了看着一个产出数字上升所带来的快速、令人满足的反馈的组织，需要为结果遥测所提供的这种更慢、更诚实的信号，建立起真正的耐心，而领导层需要主动地传达并示范这种耐心，而不是在有压力要展示快速结果时，反射性地伸手去够那个更快、但现在已不可靠的替代方案。

把这场转变当作退役真正过时产出指标的契机，而不只是在它们旁边添加结果指标

遵循主题 1.1 退役那些不再物有所值的指标的纪律，把这个时刻当作一个刻意的契机，移除这场转变已经专门贬值的产出和活动指标，而不是简单地在一份不加改变的现有仪表盘之上添加结果指标。一份保留了每一项旧产出指标、同时又生硬添加新结果指标的仪表盘，只会变得臃肿，而不是真正得到改善。

把结果遥测投资当作持久的、独立于任何具体人工智能工具或供应商关系的东西来对待

把结果遥测基础设施当作一项永久的组织能力来构建，而不是对你的组织今年碰巧使用的那个具体人工智能工具的一次反应。这条原则，以及它所要求的基础设施，会比任何具体的供应商关系或工具代际都更长久，而把它当作一种持久的能力来构建，能够保护你的指标项目，既抵御当前这场技术转变，也抵御下一场。

权衡取舍：利与弊

方案	优点	缺点
以产出指标为主导的仪表盘	反馈快速、廉价；对大多数组织而言熟悉	鉴于生成式人工智能对产出成本的影响，现在积极地不可靠
以结果遥测为主导的仪表盘	对这场转变具有抵御力；衡量真正重要的东西	信号更慢、更嘈杂；需要真正的埋点投入
在不改变产出指标的情况下添加结果指标	渐进式，干扰较小	产生仪表盘臃肿，而不是真正的改善
全面、刻意地朝结果遥测重新平衡	直接、完整地应对这场转变	需要最重大的组织和投资变革

从真正的意义上说，核心张力与本书在主题 1.3 开篇时提出的张力相同，现在被磨砺到了最紧迫的形态：快速、熟悉的反馈，与更慢、诚实的信号之间的张力。产出指标一直以来都更容易、更快产生；本主题的论证是，生成式人工智能已经把这种权衡，从仅仅次优，变成了积极危险。解决这种张力的办法，与本书从开篇主题起就一直建议的方式相同：果断地向结果倾斜，接受真正的价值测量所带来的更慢反馈，把这种更慢反馈所带来的不适，当作衡量真实的东西、而不是仅仅方便的东西所应付出的诚实代价。

与团队讨论的问题

我们当前的指标基础设施和仪表盘关注度中，有多大份额流向了结果指标，又有多大份额流向了产出和活动指标？ 诚实地计算这个比例；大多数组织第一次评估时，会发现它比自己所猜测的更偏重产出。
为了更快、更廉价的产出跟踪，我们一直在推迟哪些具体的结果遥测基础设施投资？ 举出一个具体的例子，功能采用埋点、业务结果关联工具，讨论真正构建它需要什么条件。
我们的组织是否为结果遥测更慢的反馈建立起了真正的耐心，还是对快速结果的压力一直把我们拉回到更快、但现在已不可靠的产出指标上？ 诚实地面对这种模式在你自己近期的报告和评审会议中的表现。
我们当前仪表盘上有哪个产出或活动指标，现在正是本主题论证专门适用、值得退役的真正候选对象？ 至少识别出一个，讨论什么需要取代它，而不是简单地留下一个空白。
如果我们的人工智能工具供应商，或当前这一代人工智能编程助手，明年发生了戏剧性的变化，我们的指标项目还能站得住脚吗？ 这检验了你的结果遥测投资是否真正持久，是作为一种永久能力构建的，还是仅仅是针对你当前工具情况的一种反应。
我们的组织要完全承诺于本主题的论证，果断地把指标投资重新平衡到结果上、而不是渐进式地调整，会是什么样子？ 把这个具体地勾勒出来，而不要让它保持抽象；当前状态与这个愿景之间的差距，就是你的组织应对这场转变的真正路线图。

行业视角

初创公司。 在产出指标有机会变成根深蒂固的组织习惯之前，及早建立结果遥测，真的比后来再补救更容易。一家从一开始就采用人工智能编程辅助的年轻公司，拥有一个真正的机会，能够以结果优先的方式构建自己的指标项目，而不需要拆解一种已经存在、以产出指标为主导的文化。

小型企业。 把结果遥测投资集中在最直接反映生存和增长的那一项结果指标上（主题 5.3），而不是试图在本书所涵盖的每一个结果类别上进行全面的埋点。一份适度、聚焦的结果遥测投资，胜过一份本主题的论证现在已经专门贬值了的全面产出指标仪表盘。

企业。 本主题所建议的重新平衡，在这个规模上是一次真正、重大的组织变革，很可能需要高管的支持和一份跨越多个季度的投资计划。用本书对待任何其他重大基础设施投资同等的严肃性来对待它，并用主题 7.1 和主题 7.3 那些具体、真实的例子，也就是一份经过重新平衡的仪表盘本可以更早捕捉到的指标膨胀和质量稀释，来建立起这项投资的内部理据。

政府。 主要按交付和产出指标（发布的功能、按期完成）来评估的政府技术项目，越来越容易受到主题 5.3 所描述的那种怀疑，而随着人工智能工具在政府机构所招募、所对标的更广泛行业中不断普及，本主题的论证进一步加剧了这种脆弱性。把结果遥测建成公开报告和预算论证的主要依据，让你的组织走在这场转变前面，而不是落在后面。

案例

企业。 一家软件公司的工程领导层，直接受到主题 7.1 金融科技案例所描述的那次指标膨胀险情的促动，对其指标投资比例进行了一次全面审计，发现近70%的仪表盘版面和埋点工作都投入在了产出和活动指标上，只有适度、不一致的投资投向了结果遥测。在随后一年里，该公司刻意重新平衡了这个比例，退役了几项主题 7.1 审计标记为暴露最严重的产出指标，把释放出来的产能投资到功能采用和业务结果埋点上（主题 5.2、主题 5.3）。由此产生的仪表盘，在随后一年的董事会会议上呈现时，被那位此前持怀疑态度的同一位董事会成员明确地评价为，比它所取代的那个偏重产出的版本，是一个更值得信赖的、评估工程投资的依据。

政府。 一家国家数字服务机构，专门因为它此前那份以产出指标为主导的仪表盘引来了持续的立法怀疑，正从零开始构建一套新的工程指标项目，它明确地把本主题的原则当作了自己奠基性的设计决定：结果遥测，公民等待时间、服务完成率、逃逸缺陷率，将成为所有公开报告的主要依据，产出和交付指标只作为内部诊断工具保留，绝不作为对外呈现的头条证据。这种以结果为先的设计，是刻意地因应这一部分所描述的生成式人工智能转变而构建的，给了该机构的报告一种持久性和可信度，是它的前任项目，一个围绕更早一代产出指标假设构建的项目，从未达到过的。

商业理由：动机、投资回报与总拥有成本

果断地投入结果遥测的回报，是一套指标项目，能够经受住当前这场技术转变、以及随之而来的任何转变，依然保持可信、值得信赖，而不是一套需要在下一次因为某种未来技术变化而让产出再次变得廉价时，再经历一次重大改造的项目。上面的软件公司案例具体展示了这一点：经过重新平衡的仪表盘，直接修复了此前那个偏重产出的版本本已置于真正风险之中的可信度。

总拥有成本是本主题所建议的结果遥测基础设施投资，对一个大型组织而言，这是一项真正重大、跨越多个季度的工作，需要权衡对照的，是一套随着产出持续变得更廉价而逐渐变得越来越不可信的指标项目所带来的持久、长期风险。这不是一项本书要求你轻率接受的成本；它是把主题 1.3 的立基论证，当作本书这最后一部分所要求的那样认真对待，所带来的直接、必要的后果。

反模式与陷阱

把这场转变当作只需要渐进式调整、而不是真正重新平衡的东西： 低估了生成式人工智能给产出指标的含义所带来的变革规模。
在一套不加改变、依然占主导地位的产出指标旁边添加结果指标： 产生仪表盘臃肿，而不是本主题所论证的那种真正重新平衡。
把结果遥测投资当作对某个当前具体人工智能工具的反应来构建，而不是当作一种持久的能力： 让组织以同样的方式暴露在下一场技术转变之下。
未能为结果遥测更慢的反馈建立起组织耐心： 冒着在追求快速结果的压力下，倒退回更快、但现在已不可靠的产出指标的风险。
在没有真正结果遥测替代品的情况下退役产出指标： 留下一个测量缺口，而不是真正的改善。
向利益相关方呈现这场转变，仅仅是对人工智能工具的一种回应，而不是本书立基原则的实现： 低估了这个论证的持久性和普遍性。

成熟度模型

第一级，启动： 仪表盘依然以产出指标为主导，对这一部分所描述的转变没有刻意的回应。
第二级，发展： 已经添加了一些结果指标，但整体投资比例依然偏重产出，也没有刻意退役任何指标。
第三级，标准化： 已经进行了一次刻意的审计和朝结果遥测的重新平衡，真正过时的产出指标在全组织范围内被退役。
第四级，管理： 结果遥测基础设施被当作一流的、持续的工程投资来对待，对其更慢反馈的组织耐心被主动培养和保护。
第五级，协奏： 组织的指标项目以结果遥测为主导，作为一项持久、永久的设计原则，被证明在当前这场技术转变中具有抵御力，并被明确地构建成，无论接下来发生什么，都能保持这种抵御力。

讨论思路

我们当前结果指标投资与产出指标投资的实际比例是多少？
我们这个季度应该退役哪一项单一的产出指标，应该用哪一项结果指标取代它？
近期在哪里，组织的不耐烦把我们拉回了更快、却不那么值得信赖的产出指标？
我们的结果遥测投资是持久的，还是专门与我们当前的人工智能工具情况绑定的？
要完全承诺于本主题的论证，而不是渐进式地调整，需要什么条件？

要点回顾

一旦生成式人工智能让产出变得廉价，结果遥测就变得必要，而不仅仅是更可取的；这是主题 1.3 的立基原则，现在变得紧迫。
经受住这场转变的指标，正是本书自始至终一直朝其构建的那些指标：逃逸缺陷、采用、业务结果、可靠性和幸福感。
刻意地审计并重新平衡你的指标投资比例， 退役真正过时的产出指标，而不只是在它们旁边添加结果指标。
建立组织层面对结果遥测更慢反馈的耐心， 抵制在压力之下倒退回更快、但现在已不可靠的产出指标的拉力。
把这项投资当作一种持久的能力来构建， 独立于任何具体的人工智能工具或供应商，同时保护你的指标项目抵御未来的技术转变和当前这场转变。

参考文献与延伸阅读

Accelerate: The Science of Lean Software and DevOps，Nicole Forsgren、Jez Humble、Gene Kim著（本书全书、以及第7部分这最后一个主题所建立于其上的基于结果的测量基础）。
Lean Analytics，Alistair Croll、Benjamin Yoskovitz著（本主题的论证延伸到人工智能时代的可操作指标与虚荣指标之分）。
The Innovator’s Dilemma，Clayton M. Christensen著（既有指标和实践在一场颠覆性技术转变下变成负债的一般模式）。
Measure What Matters，John Doerr著（以结果为导向的目标设定，作为一套指标项目的组织原则，本主题论证这应当成为默认，而不是例外）。