5.0 5부 소개: 제품과 비즈니스 메트릭

이 책의 처음 네 부는 엔지니어링의 내부 세계, 즉 전달, 개발자 경험, 코드 품질을 측정했다. 이 부는 그 경계 밖으로 나가 모든 엔지니어링 메트릭이 직접적으로든 몇 단계 떨어져서든 궁극적으로 봉사하는 질문을 묻는다: 이 작업이 비즈니스와 그것이 만든 것을 사용하는 사람들에게 실제로 도움이 되었는가. 주제 1.3은 이 책 초반에 산출물보다 결과를 지배 원칙으로 확립했다. 이 부는 그 원칙이 가장 날카로운 시험을 만나는 곳인데, 제품과 비즈니스 결과는 어느 단일 엔지니어의 직접적인 통제로부터 가장 멀리 떨어져 있고 엔지니어링 노력으로 깔끔하게 다시 귀속시키기 가장 어렵기 때문이다.

그 어려움이야말로 이 부가 중요한 이유다. 전달 및 품질 메트릭을 제품과 비즈니스 결과에 결코 연결하지 않는 조직은 잘못된 것을 아름답게 최적화할 위험이 있다: 훌륭한 테스트 커버리지로 빠르게 출시하지만 아무도 사용하지 않는 기능이거나, 핵심 가치 제안이 고객에게 조용히 중요하지 않게 된 시스템에서 흠잡을 데 없는 코드 품질을 유지하는 것. 이 부의 다섯 주제, 즉 누락된 결함, 기능 채택, 고객 및 비즈니스 결과, 단위 경제성, 투자 수익률은 엔지니어링 리더십에게 그 연결을 위한 어휘를 주고, 비즈니스 리더십에게 그들에게 실제로 중요한 조건으로 엔지니어링 투자를 평가할 방법을 준다.

대규모 팀에게 이 부는 흔히 전체 메트릭 프로그램의 신뢰성이 임원 이해관계자와 함께 얻어지거나 잃어지는 곳이다. 수백만 달러의 플랫폼 투자를 승인하는 엔터프라이즈 리더십과 공공 기술 예산을 승인하는 정부 감독 기구 모두, 그 내부 메트릭이 아무리 잘 관리되더라도, 배포 빈도나 테스트 커버리지가 아니라 비즈니스나 시민 결과의 용어로 표현된 답이 필요하다. 이 부는 이 책의 나머지가 가진 신중하고 가드레일로 보호된 메트릭이 마침내 그 외부적이고 결과 대면적인 대화에 연결되는 곳이다.

이 부의 주제

• 5.1 누락된 결함률과 품질 누락: 4부의 내부 품질 메트릭과 구별되는, 고객이 실제로 경험하는 것을 가장 직접적으로 반영하는 품질 메트릭.
• 5.2 기능 채택과 사용 메트릭: 엔지니어링이 만든 것이 실제로 사용되는지, 그리고 채택 데이터가 잘못 해석되는 구체적인 방식들.
• 5.3 고객과 비즈니스 결과 메트릭: 엔지니어링 작업을 비즈니스나 공공 임무가 실제로 신경 쓰는 결과에 연결하는 것.
• 5.4 엔지니어링의 비용과 단위 경제성: 재무 이해관계자가 직접 사용할 수 있는 용어로 엔지니어링 비용을 표현하는 것.
• 5.5 엔지니어링 이니셔티브를 위한 투자 수익률: 주요 엔지니어링 투자를 위한 방어 가능하고 정직한 ROI 사례를 구축하고, 그 사례가 성립하지 않을 때도 동등하게 정직한 것.

이 주제들이 서로 연결되는 방식

주제 5.1은 고객이 직접 경험하는 품질이라는, 가장 가까운 곳에서 시작하며, 4부의 내부 품질 메트릭으로부터의 자연스러운 다리다. 주제 5.2는 품질이 설명된 후 다음 질문을 묻는다: 만들어진 것을 실제로 누군가 사용하는가. 주제 5.3은 사용이 그중 하나의 신호일 뿐인, 조직이 신경 쓰는 전체 범위의 고객 및 비즈니스 결과로 렌즈를 더 넓힌다. 주제 5.4와 주제 5.5는 그다음 이 부 전체를 재무적으로 돌려, 엔지니어링 비용과 수익을 예산 및 투자 결정에 직접 연결되는 용어로 표현하며, 엔지니어링 노력이 실제로 도움이 되었는지 물으며 이 부가 열었던 고리를 닫는다.

이 부의 주제들은 특별히 주제 1.6의 통계적 소양에 많이 의존하는데, 비즈니스와 제품 결과가 흔히 시끄럽고, 시장 상황에 의해 교란되며, 확인하는 데 느리기 때문이다. 이는 정확히 주제 1.6이 경고하는 실수가 자신 있고 틀린 결론을 만들어 낼 가능성이 가장 높은 조건이다. 이 부를 7부와 함께 읽어라, 생성형 AI로의 전환이 특별히 산출물 물량이, 이 부의 주제들이 내내 주장하듯이, 애초에 결코 최적화할 올바른 것이 아니었기 때문에 결과 측정을 올바르게 하는 것의 판돈을 높이는 곳이다.