5.5

5.5 工程举措的投资回报

概述与动机

本主题把前面四个主题所衡量的一切,质量、采用、结果和成本,汇聚到那个最终支配大多数重大工程投资决策的单一财务框架中,为第5部分收尾:投资回报(ROI)。无论一个组织是在决定资助一项平台现代化、一项重大重构工作,还是一条新产品线,最终总有人必须用财务说法回答这个问题:这值得它所花费的成本吗。本主题讲的是如何诚实地回答这个问题,使用本书已经建立起来的这些指标,而不是要么回避这个问题(这会把对投资决策的影响力拱手让给那些不太有能力好好回答它的人),要么用一个夸大、不可持续的论证来回答它,一旦它站不住脚,就会损害可信度。

本主题所建议的纪律,在方程的成本一侧直接借鉴了主题 5.4 的单位经济学,在收益一侧则借鉴了主题 5.3 的结果指标,以及它们对归因不确定性的诚实处理。用这种方式建立起来的一份投资回报论证,必然比一个简单、有吸引力的头条数字更朴实、更有所保留,但它拥有本书自始至终都在强调的那个决定性优势:它能经受住审视,而一个持续建立起站得住脚的投资回报论证的组织,比一个偶尔过度承诺的组织,在未来的投资决策中赢得更多信任,因而也赢得更多自主权。

对大团队而言,投资回报纪律正是把一个被当作战略伙伴对待的工程组织,与一个开支被容忍、而不是被主动投资的成本中心区分开来的东西。企业组织用严谨的投资回报论证,来在与其他拥有更成熟财务分析传统的业务投资的竞争中成功争取资本;政府组织用同等的纪律,常被重新表述为成本效益分析,来在几乎没有耐心容忍模糊、未经证实的承诺的政治和预算压力下,确保并维持公共技术资助。

核心原则

  • 一份诚实的投资回报论证,建立在本书其他指标之上, 而不是单独凭空发明;成本来自主题 5.4,收益来自主题 5.1 到主题 5.3。
  • 总拥有成本,而不只是前期成本,属于成本一侧。 持续的维护、支持和基础设施成本,会在一个系统的生命周期中累积。
  • 收益估算带有不确定性;明确说明它, 而不是呈现一个单一、虚假精确的数字。
  • 一个负面或勉强的投资回报发现,是一个合理、有用的结果。 这项纪律的存在,是为了诚实地为决策提供依据,而不是为已经做出的决定辩护。
  • 在事后跟踪实际的投资回报,而不只是事前的预测论证。 一份从未被拿来与现实核对的预测,什么也教不会这个组织。

建议

从总拥有成本、而不只是前期投资来构建成本一侧

不仅要包括最初的开发成本,还要包括完整的总拥有成本(TCO):持续的维护、基础设施(主题 5.4 的单位经济学在这里直接有用)、支持,以及这项举措所消耗的工程产能本可以投向替代工作的机会成本。一个仅按前期成本来看显得便宜的项目,一旦诚实地把持续的维护负担计算在内,在其完整生命周期中可能是昂贵的。

从有文档记录、诚实的结果证据来构建收益一侧

从主题 5.1 到主题 5.3 的结果测量纪律中汲取收益估算:质量改善转化为减少的事件和支持成本,采用数据转化为使用驱动的价值,以及用主题 5.3 那种诚实的、经过混淆因素检查的因果链方法所建立的业务结果相关性。当真实测量到的或可比的历史数据可以作为依据时,避免从第一性原理或乐观假设中凭空发明一个收益估算。

明确说明不确定性,使用一个范围而不是单一数字

把投资回报估算呈现为一个范围(一个保守情形和一个乐观情形),而不是一个单一、虚假精确的数字,并解释是什么驱动了这个范围:哪一个具体假设,如果被证明过于乐观或过于悲观,会最大程度地改变结果。这直接呼应了主题 1.6 的统计素养原则,只是应用到了财务预测上,它保护了这份论证的可信度,因为一个后来被证明错误的单点估计,对信任的损害,远大于一个真实结果落在其中的、解释充分的范围。

把一个负面或勉强的发现当作一个合理的结果来对待

把你的投资回报分析流程构建成真正有能力得出”这不值得”的结论,并在证据支持这个结论时,把它当作一个有价值的结果,而不是一次分析的失败来对待。一个无论对什么举措都只产出正面投资回报论证的组织,会很快失去可信度,因为利益相关方会正确地推断出,这项分析实际上并不独立于它本应为之提供依据的那个决定。

把实际结果与预测论证进行对照跟踪,并公开形成闭环

在一项举措完成之后,或达到一个有意义的里程碑之后,把实际测量到的结果与最初预测的范围进行比较,并发布这项比较,包括预测出错的地方。这种形成闭环的纪律,类似于主题 3.7 对调查后续跟进的建议,正是建立一个组织长期投资回报预测可信度、并通过创造一个真实、可见的反馈回路来改善未来估算准确性的东西。

权衡取舍:利与弊

方案优点缺点
简单、单一数字的投资回报主张有说服力,容易沟通虚假精确;容易出错,损害可信度
基于范围、说明不确定性的投资回报站得住脚,能经受审视,对是什么驱动了这个范围保持诚实呈现起来更复杂;需要更多的分析工作
仅前期成本分析简单,产出快由于遗漏了持续的维护和支持负担而低估了真实成本
完整的总拥有成本分析准确、完整地反映真实投资成本需要更多的数据收集,尤其是持续成本的预测

核心张力是有说服力的简单性与站得住脚的诚实性之间的张力,与主题 5.3 为结果主张整体所点明的张力相同,现在专门应用到财务论证上。一个简单、自信的单一数字投资回报主张,当下更容易向决策者推销,但一份诚实的、基于范围、明确说明不确定性、并完整核算总拥有成本的论证,才是真正能经受住这项投资整个生命周期考验的东西,也保护了组织为下一次必须提出的论证所积累的可信度。

与团队讨论的问题

  1. 对我们上一项重大工程投资论证而言,我们核算的是总拥有成本,还是只有前期开发成本? 重新审视最初的论证,检查持续的维护和基础设施成本是否被包括在内,如果没有,估算一下它们本会增加多少。

  2. 我们的收益估算取自有文档记录、经过测量的结果证据,还是从乐观假设中构建出来的? 把一份近期论证的收益一侧追溯回它真正的证据来源,诚实地评估它究竟有多少依据。

  3. 我们是否曾在一个范围本会更诚实的情况下,把投资回报估算呈现为一个单一数字? 讨论一份近期论证的范围本会是什么样子,以及哪个具体假设驱动了那个范围的宽度。

  4. 我们的投资回报分析流程是否曾经得出一项举措不值得推进的结论,这个结论是如何被接受的? 如果过去每一次分析都得出了正面结论,诚实地讨论这反映的是真正健全的举措筛选,还是一个只会产出利益相关方想听到的答案的流程。

  5. 对一项已完成的举措,我们是否曾经回过头,把实际结果与最初预测的论证进行比较? 如果没有,挑一项真实、已完成的举措,现在就把这个比较当作一次小组练习来做,无论预测与现实之间的差距会有多令人不安。

  6. 要让我们下一份重大投资回报论证,在工程之外某人真正持怀疑态度的审视下站得住脚,需要什么条件? 走一遍你下一份计划中的论证,在它送到决策者手中之前,识别出其当前证据链中最薄弱的环节。

行业视角

初创公司。 正式的投资回报分析,往往不如一个更简单的生存和增长问题相关:这项投资是否帮助我们达到下一个里程碑或融资轮次。即便如此,也要应用同样的诚实原则,抵制为一个团队情感上已经投入的决定虚增一份论证的诱惑,因为投资者的审查最终会应用本主题建议先在内部应用的同样那种怀疑态度。

小型企业。 让投资回报分析与决策的规模相称;一项重大的、多年期的平台投资,理应获得本主题所建议的完整纪律,而一次小额工具采购则不需要同等的严谨性。把正式分析的精力集中在你为数不多的、最重大、最有后果的决策上。

企业。 在这个规模上,投资回报纪律决定了工程能否在与其他拥有更成熟财务分析传统的业务投资的竞争中成功争取资本。把本主题所建议的完整总拥有成本和基于范围的纪律,当作标准实践来建立,并投资于建立长期预测可信度的闭环跟踪。

政府。 成本效益分析,作为投资回报的公共部门等效物,常常是预算论证中一项正式、被要求的部分,在发现结果可能面临外部审计或立法审查的地方,对不确定性和总拥有成本保持诚实尤为重要。一份夸大收益或低估成本的分析,一旦被发现,会对一个项目在其资助机构那里的可信度造成持久损害。

案例

企业。 一家物流科技公司的工程领导层,提出了一项把一个遗留单体架构迁移到微服务架构的重大投资,最初呈现了一个单一、乐观的投资回报数字,主要基于预测的部署频率改善。一位财务利益相关方带着怀疑态度的质询,揭示出这份论证并未核算新架构将带来的可观的持续运营复杂性和基础设施成本。一份修订后的论证,用完整的总拥有成本以及反映保守和乐观两种交付改善情形的一个范围重新构建,展示了一个更朴实、但依然为正的预期回报,关键的是,它经受住了财务团队的审视,并获得了资助,而最初那份被夸大的论证很可能不会获得资助。

政府。 一家州政府的法院记录数字化项目,最初仅围绕行政成本节约构建了它的成本效益论证,给出一个单一、精确的投资回报数字。一次独立预算办公室的审查发现,这份预测并未核算公民一方节省的时间,或法律程序中错误率的降低,这些是真实的收益,却因为比行政成本更难量化而被遗漏了。一份修订后的分析,把这些收益纳入其中,附带一个明确说明所涉及真实测量不确定性的范围,产生了一份更有力、而且重要的是更站得住脚的论证,预算办公室最终批准了它,恰恰是因为它对自己确实知道和不确定知道的东西保持了透明。

商业理由:动机、投资回报与总拥有成本

严谨的投资回报纪律的回报,在某种程度上带有循环性,正是这项纪律自身的可信度:一个持续建立诚实、站得住脚的论证的组织,包括偶尔得出一项举措不值得推进的结论,比一个因为此前过度承诺而其论证被以怀疑眼光看待的组织,在未来的投资决策中赢得更大的信任,因而也赢得更多的自主权。上面的物流公司案例直接展示了这一点:那份修订后、更朴实却诚实的论证成功了,而那份被夸大的原始论证在审视之下很可能会失败。

这项纪律的总拥有成本,是建立完整总拥有成本估算、把收益估算建立在真实证据之上、明确说明不确定性,并在事后跟踪实际结果所需的分析工作。这份努力确实比一次快速、自信的单一数字推销需要更多工作,而它值得付出,具体原因是替代方案,会拿这个组织未来每一次必须提出的论证的可信度冒险。

反模式与陷阱

  • 仅前期成本分析,遗漏总拥有成本: 低估了真实的投资成本,尤其是对长寿命系统而言。
  • 从乐观假设而不是有文档记录的证据中凭空发明收益估算: 产出一份经不起审视的论证。
  • 呈现一个单一、虚假精确的投资回报数字,而不是一个说明清楚的范围: 当实际结果与这个点估计不同时,损害可信度。
  • 一个只会产出正面结论的分析流程: 被利益相关方正确地解读为这个流程并不真正独立的证据。
  • 从不把实际结果与最初预测进行对照跟踪: 失去了本可以改善未来预测准确性的反馈回路。
  • 构建一份论证只是为了给一个情感上已经投入的决定辩护,而不是真正为这个决定提供依据: 是大多数被夸大的投资回报论证的根本原因。

成熟度模型

  • 第一级,启动: 投资回报论证是非正式的,没有有文档记录的证据支撑,无论举措如何几乎总是得出正面结论。
  • 第二级,发展: 一些论证包括成本和收益估算,但总拥有成本被不一致地应用,不确定性也很少被明确说明。
  • 第三级,标准化: 投资回报论证在全组织范围内一贯地使用完整的总拥有成本、有文档记录的收益证据,以及一个反映真实不确定性的说明范围。
  • 第四级,管理: 实际结果在完成后与最初的预测进行对照跟踪,这项比较被发布并用于改善未来的预测。
  • 第五级,协奏: 组织拥有一份经过证明的、多年期的准确、诚实的投资回报预测记录,包括正确得出一项举措不值得推进的结论的案例,而这份记录为工程在战略投资决策中赢得了一个可信赖的席位。

讨论思路

  1. 我们目前最大的投资论证是什么,它今天能经受住真正持怀疑态度的审视吗?
  2. 我们是否曾经把一项已完成举措的实际结果,与它最初的投资回报预测进行对照跟踪?
  3. 我们的分析流程需要做出什么改变,才能真正有能力得出”不值得”的结论?
  4. 我们当前的成本估算中,最常缺失的总拥有成本组成部分是什么?
  5. 在我们下一份计划中的重大投资论证里,最薄弱的单一证据环节是什么?

要点回顾

  • 从本书的其他指标构建投资回报论证,成本来自单位经济学(主题 5.4),收益来自有文档记录的结果证据(主题 5.1 到主题 5.3),而不是凭空发明的假设。
  • 包括总拥有成本,而不只是前期成本,并把收益估算说明为一个带有明确不确定性的范围,而不是一个单一、虚假精确的数字。
  • 构建一个真正有能力得出一项举措不值得推进的结论的流程;一个只会产出正面结论的分析并不可信。
  • 在完成之后把实际结果与预测进行对照跟踪,并发布这项比较,以建立长期的预测可信度。
  • 诚实、站得住脚的投资回报纪律,是工程随时间在战略投资决策中赢得可信赖席位的原因。

参考文献与延伸阅读

  • How to Measure Anything,Douglas W. Hubbard著(量化不确定价值,构建站得住脚的基于范围的估算)。
  • Cloud FinOps,J.R. Storment、Mike Fuller著(面向基于云的基础设施投资的总拥有成本纪律)。
  • Accelerate: The Science of Lean Software and DevOps,Nicole Forsgren、Jez Humble、Gene Kim著(把交付实践投资与业务回报连接起来的研究基础)。
  • 美国管理和预算办公室通告A-94,关于联邦项目成本效益分析的指导(公共部门投资回报纪律)。