5.3 고객과 비즈니스 결과 메트릭

개요 및 동기

이 주제는 주제 5.2의 기능 수준 채택을 넘어 조직이 실제로 신경 쓰는 전체 범위의 고객 및 비즈니스 결과로 렌즈를 넓힌다: 유지되거나 성장한 매출, 고객 만족도와 충성도, 비용 절감, 회피된 위험, 그리고 공공 부문 조직의 경우 임무가 섬기기 위해 존재하는 시민 결과. 이것들은 주제 1.3이 투입-산출-결과 위계의 최상단에 둔 결과 메트릭이며, 이 주제는 이 책이 그 주제의 핵심 도전의 가장 어렵고 가장 정직한 버전을 마주하는 곳이다: 이 수준의 결과는 좀처럼 엔지니어링 홀로에게 귀속될 수 없으며, 그렇지 않은 척하는 것은 정확히 주제 3.3이 개인 성과에 대해 경고한 거짓 정밀함 문제를, 이제 전체 엔지니어링 조직의 비즈니스에 대한 기여 수준으로 확장되어 만들어 낸다.

그 귀속의 어려움에 대한 생산적인 대응은 엔지니어링 작업을 비즈니스 결과에 연결하는 것을 포기하는 것이 아니며, 그것은 주제 1.3의 전체 전제를 버리는 것이지만, 그 연결의 강도에 대해 정직해지고 직접적인 인과관계에 대한 거짓 정밀함 주장이 아니라 수렴하는 증거를 사용하는 것이다. 잘 운영되는 엔지니어링 조직은 엔지니어링의 통제 밖에서 이루어진 영업, 마케팅, 시장 상황, 제품 전략 결정에도 의존하는 결과에 대해 단독 공로를 주장하지 않으면서도 그 작업이 특정 비즈니스 결과와 상관관계가 있고, 그것에 기여하며, 때로는 직접 그것을 이끈다는 것을 보여 줄 수 있다.

대규모 팀에게 이 주제의 규율은 엔지니어링이 전략적 테이블에서 진짜 자리를 가지는지, 아니면 그 가치가 입증되는 것이 아니라 가정되는 비용 센터로 취급되는지를 결정한다. 엔터프라이즈 조직은 자본에 대한 경쟁하는 주장에 맞서 지속적이고 확장된 엔지니어링 투자를 정당화하기 위해 고객 및 비즈니스 결과 메트릭을 사용한다. 정부 조직은 공공 기술 지출이 그 의도된 공공 가치를 만들어 냈다는 것을 입증하기 위해 그에 상응하는 시민 결과 메트릭을 사용하며, 이는 점점 더 감독 기구가 디지털 정부 프로그램에 적용하는 표준이다.

핵심 원칙

결과는 좀처럼 엔지니어링 홀로에게 귀속될 수 없다. 단독 인과관계에 대한 거짓 주장이 아니라 수렴하는 증거와 정직한 상관관계 언어를 사용하라.
단지 같은 대시보드에서의 병치가 아니라, 문서화된 인과 사슬을 통해 엔지니어링 메트릭을 결과 메트릭에 명시적으로 연결하라.
정부와 임무 주도 조직은 매출을 넘어선 결과 메트릭을 가진다. 시민 대기 시간, 오류율, 서비스 완료는 재무적 측정만큼 혹은 그 이상으로 중요하다.
비즈니스 결과 메트릭은 느리고 시끄럽다. 이 책의 다른 거의 어느 곳보다도 더 엄격하게 주제 1.6의 통계적 소양을 여기에 적용하라.
이곳이 비기술적 이해관계자와의 엔지니어링의 신뢰성이 얻어지거나 잃어지는 곳이다. 당신의 청중이 이미 사용하는 결과 언어로 말하라.

권장 사항

엔지니어링 메트릭에서 비즈니스 결과로의 명시적이고 문서화된 인과 사슬을 구축하라

전달 메트릭과 비즈니스 결과를 나란히 제시하고 청중이 연결을 추론하게 두는 대신, 메트릭 트리(주제 1.3)를 명시적으로 구축하라: 이 특정 엔지니어링 투자가 리드 타임을 줄였고, 이는 특정 고객 필요에 대한 더 빠른 대응을 가능하게 했으며, 이는 유지율의 특정 개선과 상관관계가 있었다. 이 사슬의 각 연결을 그 자체의 증거로 문서화하여, 전체 주장이 “우리는 배포 빈도를 개선했다”에서 “매출이 성장했다”로의 단일하고 뒷받침되지 않은 도약이 아니라 방어 가능한 개별 연결의 사슬이 되게 하라.

정직한 상관관계 언어를 사용하고 능동적으로 교란 요인을 찾아보라

주제 1.6의 지침을 직접 따라, 같은 시기에 바뀐 다른 것, 즉 가격 변경, 경쟁사의 실수, 계절적 효과, 마케팅 캠페인을 고려하지 않고 엔지니어링 변경이 비즈니스 결과 개선을 일으켰다고 주장하는 것을 물리쳐라. 단일한 전후 비교를 증거로 제시하는 대신 발견을 그럴듯한 인과 사슬로 뒷받침되는 상관관계로 서술하고, 어떤 교란 요인을 고려했고 배제했는지 명시적으로 밝혀라.

공공 부문과 임무 주도 작업에 대해 명시적으로 시민과 임무 결과를 추적하라

정부와 비영리 조직에게 “매출”에 상응하는 것은 흔히 시민이나 수혜자 결과다: 서비스에 대한 줄어든 대기 시간, 신청 절차에 대한 증가된 성공적 완료율, 혜택 계산에서의 줄어든 오류율. 민간 부문 조직이 매출 메트릭에 적용하는 것과 동일한 엄격함으로 이것들을 추적하고, 단지 측정하기 더 쉽고 귀속 어려움에 덜 노출된다는 이유만으로 전달 전용 메트릭(출시된 기능, 일정 준수)으로 물러서고 싶은 유혹을 물리쳐라.

정량적 결과 데이터를 정성적 고객 신호와 결합하라

특히 느리게 움직이고 시끄러운 비즈니스 결과 수치인 숫자 홀로는 정성적 신호가 직접 포착하는 맥락을 놓칠 수 있다: 고객 인터뷰 피드백, 지원 티켓 주제, 혹은 직접적인 사용자 연구 발견. 정성적 신호를 사용해 정량적 결과 메트릭이 왜 움직였는지 설명하거나, 그것이 후행하는 수치에 전혀 나타나기 전에 떠오르는 문제를 잡아내어, 정량적 데이터를 본질적으로 더 권위 있는 것으로 취급하는 대신 둘을 보완적인 증거로 취급하라.

청중 자신의 어휘로 결과 데이터를 제시하라

비기술적 이해관계자, 임원, 이사회 구성원, 입법 감독 기구에게 제시할 때, 그들이 이미 사용하는 언어(유지된 매출, 회피된 비용, 줄어든 시민 대기 시간)로 결과 메트릭을 앞세우고, 엔지니어링 메트릭은 그 결과가 어떻게 달성되었는지에 대한 뒷받침 증거로만 사용하지, 헤드라인으로 사용하지 마라. 이것은 이해관계자 소통이라는 특정 기술에 주제 1.3의 결과 가중치 원칙을 직접 적용한 것이다.

트레이드오프: 장단점

접근법	장점	단점
엔지니어링 메트릭에서 비즈니스 결과로의 직접적인 인과관계 주장	단순하고 설득력 있는 서사	보통 확신을 과장함; 회의적인 청중에 의해 반박될 위험
정직하고 사슬로 문서화된 상관관계	방어 가능하고, 장기적인 신뢰성을 쌓음	제시하기 더 복잡함; 더 많은 증거 수집 규율이 필요함
전달 전용 보고 (결과 주장을 완전히 피하기)	단순하고, 귀속 위험을 피함	엔지니어링의 실제 비즈니스 가치를 입증하지 못함; 투자 대화에서 약함
결합된 정량적, 정성적 결과 증거	더 풍부하고, 더 설명적이며, 숫자 홀로는 놓치는 것을 잡아냄	두 유형의 증거 모두를 수집하고 종합하는 데 더 많은 노력이 필요함

핵심 긴장은 설득력 있는 서사 대 방어 가능한 정직함이다. “우리는 이 기능을 출시했고 매출이 20% 성장했다”는 단순하고 직접적인 인과관계 주장은 인정된 교란 요인을 가진 신중하게 헤지된 다단계 인과 사슬보다 훨씬 더 설득력 있는 이야기지만, 그것은 또한 틀릴 가능성이 훨씬 더 높고, 회의적인 이해관계자에 의해 도전받는다면, 미래 주장에 대한 엔지니어링 조직의 신뢰성을 손상시킬 가능성이 더 높다. 더 어렵고 정직한 버전에 투자함으로써 이 긴장을 해결하라: 인정된 교란 요인을 가진 문서화된 인과 사슬은 여전히 설득력 있는 이야기이며, 정밀 조사를 견뎌 낸다는 결정적인 이점을 가진다.

팀과 논의할 질문

엔지니어링 변경이 비즈니스 결과를 개선했다는 우리의 가장 최근 주장에 대해, 우리는 전체 인과 사슬을 문서화할 수 있을까, 아니면 하나에서 다른 하나로의 직접적인 도약을 제시했는가? 실제 최근 주장을 골라 모든 연결을 명시적으로 채워 넣어 보라. 사슬의 간극은 정직하게 이름 붙일 가치가 있다.
그 주장을 하기 전에 우리는 어떤 교란 요인을 고려하고 배제했는가? 정직한 답이 “우리는 실제로 확인하지 않았다”라면, 그것은 다음 그런 주장이 회의적인 청중에게 만들어지기 전에 메울 가치가 있는 간극이다.
우리의 공공 부문이나 임무 주도 작업에 대해, 우리는 민간 부문 조직이 매출에 적용하는 것과 동일한 엄격함으로 그에 상응하는 시민이나 수혜자 결과를 추적하는가? 당신의 조직이 더 쉽다는 이유로 전달 전용 메트릭으로 기본값을 설정한다면, 대신 더 어려운 결과 메트릭을 구축하는 데 무엇이 필요할지 논의하라.
고객 인터뷰, 지원 주제 같은 어떤 정성적 신호가 숫자 홀로는 설명하지 못하는 정량적 결과 메트릭의 최근 움직임을 설명할 수 있을까? 정성적 증거가 당신이 이미 관측한 정량적 추세에 실제 설명력을 더할 특정 사례를 찾아보라.
우리가 비기술적 이해관계자에게 제시할 때, 우리는 그들의 어휘로 결과 메트릭을 앞세우는가, 아니면 그들이 스스로 번역해야 하는 엔지니어링 메트릭을 앞세우는가? 최근 발표를 검토하고 무엇이 먼저 왔는지, 무엇이 헤드라인으로 프레이밍되었는지 확인하라.
우리는 결과 주장에 대해 도전받고 정밀 조사 아래서 그것을 방어할 수 없다는 것을 발견한 적이 있는가? 이것이 일어났다면, 어떤 증거가 그 주장을 방어 가능하게 만들었을지 논의하고, 그 교훈을 미래 주장이 어떻게 구축되고 문서화되는지에 앞으로 적용하라.

분야별 관점

스타트업. 결과 귀속은 흔히 이 규모에서 더 명확한데, 작은 회사는 그 연결을 희석시키는 조직적 복잡성이 적은 채로 특정 기능을 특정 메트릭 움직임에 더 직접적으로 추적할 수 있기 때문이다. 그럼에도, 계절성이나 동시적인 마케팅 추진 같은 명백한 교란 요인을 적어도 짧게 고려하지 않고 직접적인 인과관계를 주장하고 싶은 유혹을 물리쳐라.

중소기업. 생존과 성장, 즉 매출, 재구매 고객, 비용 절감을 가장 직접적으로 반영하는 어떤 결과 메트릭이든 집중하고, 당신이 엄격하게 수행할 역량이 부족할 가능성이 있는 정교한 통계 분석이 아니라 단순하고 정직한 정성적 추론을 통해 엔지니어링 작업을 그것에 연결하라.

엔터프라이즈. 엔지니어링 메트릭에서 비즈니스 결과로의 문서화된 인과 사슬을 구축하는 것은 조직적 복잡성과 많은 교란 요인을 고려할 때 이 규모에서 진정으로 어렵지만, 투자가 가장 큰 보상을 받는 곳이기도 한데, 자본 배분 대화에서 엔지니어링의 신뢰성은 이런 종류의 방어 가능한 증거에 직접 달려 있기 때문이다.

정부. 시민과 임무 결과 메트릭은 점점 더 감독 기구가 기대하는 것이며, 전달 메트릭(출시된 기능, 일정 준수)만 보고할 수 있는 프로그램은 정확히 이 주제가 당신이 선제적으로 대처하도록 돕기 위해 만들어진 회의론을 초래한다. 단순한 전달 개수보다 측정하기 더 어려운 곳에서도 명시적으로 시민 결과를 추적하는 데 투자하라. 그 투자는 미래의 자금 지원과 신뢰성을 직접 보호하기 때문이다.

사례

엔터프라이즈. 한 서비스형 소프트웨어 회사의 엔지니어링 리더십은 기능 속도에 집중하는 회의적인 재무 팀에게 플랫폼 신뢰성 작업에 대한 지속적인 투자를 정당화하고 싶었다. 신뢰성 개선에서 매출로의 직접적인 인과관계를 주장하는 대신, 그 팀은 문서화된 사슬을 구축했다: 신뢰성 투자는 고객이 보고한 다운타임 인시던트를 줄였고, 다운타임 인시던트는 회사 자체의 이탈 모델에 따르면 이후 30일 동안 상승된 이탈 위험과 강하게 상관관계가 있었으며, 그 투자 후 더 적은 인시던트를 경험한 고객 코호트는 계절성과 가격 변경을 교란 요인으로 명시적으로 확인하고 배제한 상태에서 비교 가능한 투자 전 코호트보다 측정 가능하게 더 낮은 이탈을 보였다. 이 신중하게 문서화되고 정직하게 헤지된 사슬은 전년도의 더 이른, 더 광범위한 직접 인과관계 주장보다 그 회의적인 재무 팀에게 더 설득력 있는 것으로 입증되었다.

정부. 한 국가 디지털 신원 프로그램은 그 지속적인 비용에 회의적인 입법 위원회에 가치를 입증해야 했다. 전달 메트릭(출시된 모듈, 일정 준수)을 보고하는 대신, 그 프로그램은 시민 결과 메트릭을 직접 보고했다: 신원 확인을 완료하는 중앙값 시간이 며칠에서 10분 미만으로 떨어졌고, 대면 사무소 방문을 요구하지 않는 셀프 서비스 완료율이 상당히 올랐다. 이 결과 메트릭은, 그 서비스를 사용한 시민으로부터의 정성적 증언과 결합하여, 그 프로그램이 이전 예산 주기에 사용했던 전달 중심 보고보다 그 위원회에게 훨씬 더 설득력이 있는 것으로 입증되었고, 지속적인 자금 지원 승인을 직접 뒷받침했다.

비즈니스 사례: 동기, ROI, TCO

엄격하고 정직한 고객 및 비즈니스 결과 측정의 수익은 전략적 대화에서의 엔지니어링 신뢰성이다: 귀속 한계에 대해 적절한 정직함을 가지고 그 작업을 실제 결과에 방어 가능하게 연결할 수 있는 조직은 그 사례를 과장하거나(그리고 들키거나) 결과 주장을 완전히 피하는(그리고 입증 가능한 비즈니스 가치가 없는 비용 센터처럼 보이는) 조직보다 미래의 투자 결정에서 더 강한 위치를 얻는다.

총 소유 비용은 인과 사슬을 구축하고 문서화하며, 교란 요인을 확인하고, 정량적 증거를 정성적 증거와 결합하는 분석 노력이며, 이는 단순하고 뒷받침되지 않은 상관관계 주장보다 진정으로 더 많은 작업이다. 그 투자는 할 가치가 있는데, 대안, 즉 나중에 정밀 조사에 실패하는 과장된 주장이 그 추가적인 엄격함이 사전에 드는 비용보다 장기적인 신뢰성에서 훨씬 더 많은 비용이 들기 때문이다.

안티패턴과 함정

교란 요인을 확인하지 않고 직접적인 인과관계 주장하기: 확신을 과장하고 도전받을 경우 신뢰성 손상의 위험을 무릅쓴다.
문서화된 인과 사슬 없이 엔지니어링과 결과 메트릭을 나란히 제시하기: 청중이 실제로는 성립하지 않을 수 있는 연결을 추론하도록 초대한다.
측정하기 더 쉽다는 이유로 공공 부문이나 임무 주도 작업에 대해 전달 전용 메트릭으로 기본값 설정하기: 이해관계자가 실제로 신경 쓰는 결과를 입증하지 못한다.
정량적 결과 데이터를 정성적 증거보다 본질적으로 더 권위 있는 것으로 취급하기: 숫자 홀로는 제공할 수 없는 맥락과 설명력을 놓친다.
결과 어휘가 아니라 엔지니어링 어휘로 비기술적 이해관계자에게 제시하기: 진정으로 강한 사례의 설득력을 약화시킨다.
귀속 어려움을 회피하기 위해 결과 주장을 완전히 피하기: 엔지니어링의 실제 비즈니스 가치를 입증되지 않고 과소평가된 채로 남긴다.

성숙도 모델

1단계, 시작: 엔지니어링은 오직 전달과 활동 메트릭만 보고한다. 비즈니스나 시민 결과로의 연결이 시도되지 않는다.
2단계, 개발: 일부 결과 주장이 만들어지지만, 문서화된 인과 사슬이나 교란 요인에 대한 고려 없이다.
3단계, 표준화: 결과 주장이 조직 전체에서 명시적으로 고려된 교란 요인을 가진 문서화되고 다단계인 인과 사슬 위에 구축된다.
4단계, 관리: 정량적이고 정성적인 결과 증거가 체계적으로 결합되며, 결과 데이터가 이해관계자 어휘로 일관되게 제시된다.
5단계, 조율: 엔지니어링은 정밀 조사를 견뎌 낸 방어 가능한 결과 주장의 입증되고 신뢰받는 실적을 가지고 있으며, 결과 데이터가 조직의 최고 수준에서 전략적 투자 결정을 직접적이고 일상적으로 알려준다.

논의를 위한 아이디어

엔지니어링 작업을 실제 비즈니스나 시민 결과에 연결하는 우리의 현재 가장 강력한 증거는 무엇인가?
결과 주장을 하기 전에 우리가 결코 실제로 확인하지 않은 교란 요인은 무엇인가?
적용 가능하다면, 우리는 재무적 결과와 동일한 엄격함으로 시민이나 임무 결과를 추적하는가?
어떤 정성적 증거가 우리의 가장 좋은 현재 정량적 결과 이야기를 강화할까?
전달 메트릭 대신 결과를 앞세운다면 우리의 마지막 주요 이해관계자 발표는 어떻게 바뀔까?

핵심 요약

결과는 좀처럼 엔지니어링 홀로에게 귀속될 수 없다. 단독 인과관계에 대한 거짓 주장이 아니라 수렴하는 증거와 정직한 상관관계 언어를 사용하라.
모든 연결에서 교란 요인을 확인하며, 엔지니어링 메트릭에서 비즈니스 결과로의 명시적이고 문서화된 인과 사슬을 구축하라.
민간 조직이 매출에 적용하는 것과 동일한 엄격함으로 공공 부문과 임무 주도 작업에 대해 시민과 임무 결과를 추적하라.
정량적이고 정성적인 증거를 결합하라. 숫자 홀로는 흔히 결과가 왜 움직였는지 설명하는 맥락을 놓친다.
비기술적 이해관계자를 위해 엔지니어링 메트릭이 아니라 결과를 앞세우며, 청중 자신의 어휘로 결과 데이터를 제시하라.

참고 문헌 및 추가 자료

Torres, Teresa. Continuous Discovery Habits: Discover Products That Create Customer Value and Business Value. Product Talk, 2021.
Croll, Alistair, and Benjamin Yoskovitz. Lean Analytics: Use Data to Build a Better Startup Faster. O’Reilly Media, 2013.
Hubbard, Douglas W. How to Measure Anything: Finding the Value of Intangibles in Business. Wiley, 2014.
U.S. Government Accountability Office (GAO): 성과 측정 및 GPRA 현대화법 관련 지침.