5.5 엔지니어링 이니셔티브를 위한 투자 수익률

개요 및 동기

이 주제는 앞선 네 주제가 측정한 모든 것, 즉 품질, 채택, 결과, 비용을 결국 대부분의 주요 엔지니어링 투자 결정을 지배하는 단일한 재무적 프레이밍인 투자 수익률(ROI)로 가져옴으로써 5부를 마무리한다. 조직이 플랫폼 현대화, 주요 리팩토링 노력, 혹은 새로운 제품 라인에 자금을 지원하기로 결정하든, 결국 누군가는 재무적 용어로 질문에 답해야 한다: 이것은 그것이 드는 비용만큼의 가치가 있는가. 이 주제는 그 질문을 피하거나(이는 투자 결정에 대한 영향력을 그것에 잘 답할 장비가 덜 갖춰진 사람들에게 넘겨주는 것이다) 성립하지 않을 때 신뢰성을 손상시키는 과장되고 지속 불가능한 사례로 답하는 대신, 이 책이 이미 구축한 메트릭을 사용해 정직하게 그 질문에 답하는 것을 다룬다.

이 주제가 권장하는 규율은 방정식의 비용 측면에 대해 주제 5.4의 단위 경제성을, 그리고 혜택 측면에 대해 귀속 불확실성에 대한 정직한 취급을 가진 주제 5.3의 결과 메트릭을 직접 끌어온다. 이렇게 구축된 ROI 사례는 필연적으로 단순하고 매력적인 헤드라인 수치보다 더 겸손하고 더 헤지되지만, 이 책이 내내 강조해 온 결정적인 이점을 가진다: 그것은 정밀 조사를 견뎌 내며, 일관되게 방어 가능한 ROI 사례를 구축하는 조직은 이따금 과도하게 약속하는 조직보다 더 많은 신뢰를, 따라서 미래의 투자 결정에서 더 많은 자율성을 얻는다.

대규모 팀에게 ROI 규율은 전략적 파트너로 취급되는 엔지니어링 조직과 그 지출이 적극적으로 투자되기보다 용인되는 비용 센터로 취급되는 조직을 구별하는 것이다. 엔터프라이즈 조직은 엄격한 ROI 사례를 사용해 다른 비즈니스 투자에 맞서 자본을 두고 성공적으로 경쟁한다. 정부 조직은 흔히 비용 편익 분석으로 재구성된 동등한 규율을 사용해 막연하고 입증되지 않은 약속에 거의 인내심이 없는 정치적, 예산적 압박에 맞서 공공 기술 자금을 확보하고 유지한다.

핵심 원칙

정직한 ROI 사례는 별도로 발명되는 것이 아니라 이 책의 다른 메트릭으로부터 구축된다: 주제 5.4의 비용, 주제 5.1부터 주제 5.3까지의 혜택.
총 소유 비용이, 단지 초기 비용이 아니라, 비용 측면에 속한다. 지속적인 유지보수, 지원, 인프라 비용은 시스템의 수명 동안 복합된다.
혜택 추정치는 불확실성을 지닌다. 단일하고 거짓으로 정밀한 수치를 제시하는 대신 그것을 명시적으로 밝혀라.
부정적이거나 미미한 ROI 발견은 정당하고 유용한 결과다. 이 규율은 이미 내려진 결정을 정당화하기 위해서가 아니라 정직하게 결정을 알리기 위해 존재한다.
사전의 투영된 사례뿐 아니라 사후의 실제 ROI를 추적하라. 결코 현실에 비추어 확인되지 않는 투영은 조직에게 아무것도 가르쳐 주지 않는다.

권장 사항

단지 선행 투자가 아니라 총 소유 비용으로부터 비용 측면을 구축하라

초기 개발 비용뿐 아니라 전체 총 소유 비용(TCO)을 포함하라: 지속적인 유지보수, 인프라(주제 5.4의 단위 경제성이 여기서 직접 유용하다), 지원, 그리고 그 이니셔티브가 소비하는, 대안적인 작업으로 갈 수 있었던 엔지니어링 역량의 기회 비용. 선행 비용만으로는 저렴해 보이는 프로젝트도 지속적인 유지보수 부담이 정직하게 설명되면 그 전체 수명에 걸쳐 비쌀 수 있다.

문서화되고 정직한 결과 증거로부터 혜택 측면을 구축하라

주제 5.1부터 주제 5.3까지의 결과 측정 규율로부터 혜택 추정치를 끌어오라: 줄어든 인시던트 및 지원 비용으로 번역된 품질 개선, 사용 주도 가치로 번역된 채택 데이터, 그리고 주제 5.3의 정직하고 교란 요인이 확인된 인과 사슬 접근법으로 구축된 비즈니스 결과 상관관계. 그것을 뒷받침할 실제 측정되거나 비교 가능한 역사적 데이터가 이용 가능할 때 제1원칙이나 낙관적인 가정으로부터 혜택 추정치를 발명하는 것을 피하라.

단일 수치가 아니라 범위를 사용해 불확실성을 명시적으로 밝혀라

ROI 추정치를 단일하고 거짓으로 정밀한 수치가 아니라 범위(보수적인 경우와 낙관적인 경우)로 제시하고, 무엇이 그 범위를 이끄는지 설명하라: 낙관적이거나 비관적인 것으로 입증된다면 결과를 가장 많이 움직일 특정 가정은 무엇인가. 이것은 재무적 투영에 적용된 주제 1.6의 통계적 소양 원칙을 직접 반영하며, 사례의 신뢰성을 보호한다. 틀린 것으로 드러난 단일 점 추정치는 실제 결과가 그 안에 들어맞는 잘 설명된 범위보다 훨씬 더 많이 신뢰를 손상시키기 때문이다.

부정적이거나 미미한 발견을 정당한 결과로 취급하라

당신의 ROI 분석 절차를 진정으로 “이것은 가치가 없다”고 결론 내릴 수 있도록 구축하고, 증거가 그것을 뒷받침할 때 그 결론을 분석의 실패가 아니라 가치 있는 결과로 취급하라. 이니셔티브와 무관하게 오직 긍정적인 ROI 사례만 만들어 낸다고 알려진 조직은 빠르게 신뢰성을 잃는데, 이해관계자가 그 분석이 실제로는 그것이 알리도록 되어 있는 결정으로부터 독립적이지 않다고 정확하게 추론하기 때문이다.

투영된 사례에 맞서 실제 결과를 추적하고 공개적으로 고리를 닫아라

이니셔티브가 완료되거나 의미 있는 마일스톤에 도달한 후, 실제 측정된 결과를 원래의 투영된 범위에 맞서 비교하고, 그 투영이 틀렸던 곳을 포함해 그 비교를 발행하라. 주제 3.7의 설문 후속 조치 권장 사항과 유사한 이 피드백 루프 닫기 규율은 실제이고 눈에 보이는 피드백 루프를 만듦으로써 조직의 장기적인 ROI 예측 신뢰성을 쌓고 미래 추정치의 정확도를 개선하는 것이다.

트레이드오프: 장단점

접근법	장점	단점
단순하고 단일 수치인 ROI 주장	설득력 있고, 소통하기 쉬움	거짓으로 정밀함; 틀리고 신뢰성을 손상시킬 위험
명시된 불확실성을 가진 범위 기반 ROI	방어 가능하고, 정밀 조사를 견디며, 무엇이 범위를 이끄는지 정직함	제시하기 더 복잡함; 더 많은 분석 노력이 필요함
선행 비용만의 분석	단순하고 만들기 빠름	지속적인 유지보수와 지원 부담을 생략함으로써 진정한 비용을 과소평가함
완전한 총 소유 비용 분석	정확하고, 진정한 투자 비용의 완전한 그림	특히 지속적인 비용 투영을 위해 더 많은 데이터 수집이 필요함

핵심 긴장은 설득력 있는 단순성 대 방어 가능한 정직함이며, 주제 5.3이 결과 주장 일반에 대해 이름 붙인 것과 동일한 긴장이 이제 재무 사례에 특별히 적용된 것이다. 단순하고 자신 있는 단일 수치 ROI 주장은 순간에 의사 결정자에게 팔기 더 쉽지만, 명시적인 불확실성과 완전한 총 소유 비용 회계를 가진 정직하고 범위 기반인 사례야말로 투자의 수명에 걸쳐 실제로 버티고 조직이 다음에 만들어야 할 사례에 대한 신뢰성을 보호하는 것이다.

팀과 논의할 질문

우리의 마지막 주요 엔지니어링 투자 사례에 대해, 우리는 총 소유 비용을 설명했는가, 아니면 선행 개발 비용만 설명했는가? 원래 사례를 다시 살펴보고 지속적인 유지보수와 인프라 비용이 포함되었는지 확인하고, 그렇지 않다면 그것들이 무엇을 더했을지 추정하라.
우리의 혜택 추정치는 문서화되고 측정된 결과 증거를 끌어왔는가, 아니면 낙관적인 가정으로부터 구축되었는가? 최근 사례의 혜택 측면을 그 실제 증거 출처까지 거슬러 추적하고 그것이 실제로 얼마나 근거가 있었는지 정직하게 평가하라.
범위가 더 정직했을 때 단일 수치로 ROI 추정치를 제시한 적이 있는가? 최근 사례에 대해 그 범위가 어떻게 보였을지, 그리고 어떤 특정 가정이 그 범위의 폭을 이끌었을지 논의하라.
우리의 ROI 분석 절차가 이니셔티브가 추구할 가치가 없다고 결론 내린 적이 있으며, 그 결론은 어떻게 받아들여졌는가? 모든 과거 분석이 긍정적으로 결론을 내렸다면, 그것이 진정으로 건전한 이니셔티브 선택을 반영하는지 아니면 이해관계자가 듣고 싶어 하는 답만 만들어 내는 절차를 반영하는지 정직하게 논의하라.
완료된 이니셔티브에 대해, 우리는 실제 결과를 원래 투영된 사례에 맞서 비교하러 돌아간 적이 있는가? 그렇지 않다면, 실제이고 완료된 이니셔티브 하나를 골라 투영과 현실 사이의 간극이 아무리 불편하더라도 지금 그룹 연습으로 이 비교를 해 보라.
엔지니어링 밖의 누군가로부터의 진정하고 회의적인 정밀 조사 아래서 우리의 다음 주요 ROI 사례를 방어 가능하게 만들려면 무엇이 필요할까? 당신의 다음 계획된 사례를 살펴보고 그것이 의사 결정자에게 가기 전에 그 현재 증거 사슬에서 가장 약한 연결을 식별하라.

분야별 관점

스타트업. 공식적인 ROI 분석은 흔히 더 단순한 생존과 성장 질문보다 덜 관련이 있다: 이 투자가 우리를 다음 마일스톤이나 자금 조달 라운드에 도달하도록 돕는가. 그럼에도, 같은 정직함 원칙을 적용하고, 팀이 이미 감정적으로 헌신한 결정을 정당화하기 위해 사례를 과장하고 싶은 유혹을 물리쳐라. 투자자의 정밀 조사는 결국 이 주제가 내부적으로 먼저 적용하라고 권장하는 것과 동일한 회의론을 적용할 것이기 때문이다.

중소기업. ROI 분석을 결정의 크기에 비례하게 유지하라. 주요하고 다년간의 플랫폼 투자는 이 주제가 권장하는 완전한 규율을 받을 자격이 있지만, 작은 도구 구매는 같은 엄격함이 필요하지 않다. 공식적인 분석 노력을 당신의 몇 가지 가장 크고 가장 중요한 결정에 집중하라.

엔터프라이즈. 이 규모에서 ROI 규율은 엔지니어링이 더 확립된 재무 분석 전통을 가진 다른 비즈니스 투자에 맞서 자본을 두고 성공적으로 경쟁하는지를 결정하는 것이다. 이 주제가 권장하는 완전한 총 소유 비용과 범위 기반 규율을 표준 관행으로 구축하고, 장기적인 예측 신뢰성을 쌓는 고리 닫기 추적에 투자하라.

정부. ROI의 공공 부문 등가물인 비용 편익 분석은 흔히 예산 정당화의 공식적이고 필수적인 부분이며, 발견이 외부 감사나 입법 정밀 조사에 직면할 수 있는 곳에서는 불확실성과 총 소유 비용에 대한 정직함이 특히 중요하다. 혜택을 과장하거나 비용을 과소평가한 분석은, 일단 발견되면, 그 자금 지원 기구와의 프로그램 신뢰성에 지속적인 피해를 초래한다.

사례

엔터프라이즈. 한 물류 기술 회사의 엔지니어링 리더십은 레거시 모놀리스를 마이크로서비스 아키텍처로 마이그레이션하는 주요 투자를 제안했으며, 처음에는 주로 투영된 배포 빈도 개선에 근거한 단일하고 낙관적인 ROI 수치를 제시했다. 재무 이해관계자의 회의적인 질문은 그 사례가 새로운 아키텍처가 도입할 상당한 지속적인 운영 복잡성과 인프라 비용을 설명하지 않았다는 것을 드러냈다. 완전한 총 소유 비용과 보수적이고 낙관적인 전달 개선 시나리오 둘 다를 반영하는 범위로 구축된 개정된 사례는 더 겸손하지만 여전히 긍정적인 기대 수익을 보여 주었고, 결정적으로, 재무 팀의 정밀 조사를 견뎌 냈고 자금 지원을 확보했으며, 이는 원래의 과장된 사례가 아마도 그러지 못했을 것이었다.

정부. 한 주 정부의 법원 기록 디지털화 프로그램은 그 초기 비용 편익 사례를 단일하고 정밀한 ROI 수치로 행정 비용 절감만을 중심으로 구축했다. 독립적인 예산 사무소 검토는 그 투영이 시민 측 시간 절약이나 법적 절차에서 줄어든 오류율을 설명하지 않았다는 것을 발견했으며, 이는 실재했지만 행정 비용보다 정량화하기 더 어려웠기 때문에 생략된 혜택이었다. 개정된 분석은 관련된 진정한 측정 불확실성을 반영하는 명시적으로 밝혀진 범위와 함께 이 혜택들을 통합했으며, 정확히 그것이 자신 있게 알고 있는 것과 모르는 것에 대해 투명했기 때문에 예산 사무소가 결국 승인한 더 강하고, 중요하게도, 더 방어 가능한 사례를 만들어 냈다.

비즈니스 사례: 동기, ROI, TCO

엄격한 ROI 규율의 수익은, 다소 재귀적으로, ROI 규율 자체의 신뢰성이다: 일관되게 정직하고 방어 가능한 사례를 구축하는 조직, 이따금 이니셔티브가 추구할 가치가 없다고 결론 내리는 것을 포함하여, 이전에 과도하게 약속했기 때문에 회의적으로 보이는 사례를 가진 조직보다 미래의 투자 결정에서 더 큰 신뢰, 따라서 더 많은 자율성을 얻는다. 위의 물류 회사 사례는 이것을 직접 보여 준다: 개정되고, 더 겸손하지만 정직한 사례는 정밀 조사 아래서 아마도 실패했을 과장된 원본이 성공하지 못했을 곳에서 성공했다.

이 규율의 총 소유 비용은 완전한 총 소유 비용 추정치를 구축하고, 혜택 추정치를 실제 증거에 근거하게 하며, 불확실성을 명시적으로 밝히고, 사후에 실제 결과를 추적하는 분석 노력이다. 그 노력은 빠르고 자신 있는 단일 수치 제안보다 진정으로 더 많은 작업이며, 대안이 조직이 미래에 만들어야 할 모든 사례에 대한 신뢰성을 위험에 빠뜨리기 때문에 특별히 그만한 가치가 있다.

안티패턴과 함정

총 소유 비용을 생략한, 선행 비용만의 분석: 특히 장수명 시스템에 대해 진정한 투자 비용을 과소평가한다.
문서화된 증거가 아니라 낙관적인 가정으로부터 혜택 추정치 발명하기: 정밀 조사를 견디지 못하는 사례를 만들어 낸다.
명시된 범위 대신 단일하고 거짓으로 정밀한 ROI 수치 제시하기: 실제 결과가 점 추정치와 다를 때 신뢰성을 손상시킨다.
오직 긍정적인 결론만 만들어 내는 분석 절차: 그 절차가 진정으로 독립적이지 않다는 증거로 이해관계자에 의해 정확하게 읽힌다.
실제 결과를 원래 투영에 맞서 결코 추적하지 않기: 미래의 예측 정확도를 개선할 피드백 루프를 잃는다.
진정으로 결정을 알리기 위해서가 아니라 이미 감정적으로 헌신한 결정을 정당화하기 위해 사례 구축하기: 대부분의 과장된 ROI 사례의 근본 원인.

성숙도 모델

1단계, 시작: ROI 사례가 비공식적이고, 문서화된 증거로 뒷받침되지 않으며, 이니셔티브와 무관하게 거의 항상 긍정적으로 결론을 내린다.
2단계, 개발: 일부 사례가 비용과 혜택 추정치를 포함하지만, 총 소유 비용이 일관성 없이 적용되고 불확실성이 좀처럼 명시적으로 밝혀지지 않는다.
3단계, 표준화: ROI 사례가 조직 전체에서 일관되게 완전한 총 소유 비용, 문서화된 혜택 증거, 그리고 진정한 불확실성을 반영하는 명시된 범위를 사용한다.
4단계, 관리: 실제 결과가 완료 후 원래 투영에 맞서 추적되며, 그 비교가 발행되고 미래 예측을 개선하는 데 사용된다.
5단계, 조율: 조직은 이니셔티브가 추구할 가치가 없다고 올바르게 결론 내린 사례를 포함해, 정확하고 정직한 ROI 예측의 입증된 다년간의 실적을 가지고 있으며, 이 실적은 전략적 투자 결정에서 엔지니어링에게 신뢰받는 자리를 얻어 준다.

논의를 위한 아이디어

우리의 현재 가장 큰 투자 사례는 무엇이며, 그것은 오늘 진정으로 회의적인 정밀 조사를 견딜 수 있을까?
우리는 완료된 이니셔티브의 실제 결과를 그 원래 ROI 투영에 맞서 추적한 적이 있는가?
진정으로 “가치가 없다”고 결론 내릴 수 있으려면 우리의 분석 절차는 무엇이 바뀌어야 할까?
우리의 현재 비용 추정치에서 가장 흔히 빠진 총 소유 비용 구성 요소는 무엇인가?
우리의 다음 계획된 주요 투자 사례에서 단일한 가장 약한 증거 연결은 무엇인가?

핵심 요약

발명된 가정이 아니라, 단위 경제성(주제 5.4)으로부터의 비용, 문서화된 결과 증거(주제 5.1부터 주제 5.3까지)로부터의 혜택으로, 이 책의 다른 메트릭으로부터 ROI 사례를 구축하라.
단지 선행 비용이 아니라 총 소유 비용을 포함하고, 혜택 추정치를 단일하고 거짓으로 정밀한 수치가 아니라 명시적인 불확실성을 가진 범위로 밝혀라.
이니셔티브가 추구할 가치가 없다고 진정으로 결론 내릴 수 있는 절차를 구축하라. 오직 긍정적인 결론만 만들어 내는 분석은 신뢰할 수 없다.
완료 후 투영에 맞서 실제 결과를 추적하고, 장기적인 예측 신뢰성을 쌓기 위해 그 비교를 발행하라.
정직하고 방어 가능한 ROI 규율이야말로 시간이 지남에 따라 전략적 투자 결정에서 엔지니어링에게 신뢰받는 자리를 얻어 주는 것이다.

참고 문헌 및 추가 자료

Hubbard, Douglas W. How to Measure Anything: Finding the Value of Intangibles in Business. Wiley, 2014.
Storment, J.R., and Mike Fuller. Cloud FinOps: Collaborative, Real-Time Cloud Financial Management. O’Reilly Media, 2020.
Forsgren, Nicole, Jez Humble, and Gene Kim. Accelerate: The Science of Lean Software and DevOps. IT Revolution Press, 2018.
U.S. Office of Management and Budget. Circular A-94: Guidelines and Discount Rates for Benefit-Cost Analysis of Federal Programs.