서론

이 책은 소프트웨어 엔지니어링을 잘 측정하기 위한 실무 안내서다. 다섯 명짜리 스타트업부터 수천 명의 엔지니어를 둔 기업, 법정 성과 프레임워크에 맞춰 보고하는 정부 기관까지 어떤 팀이든 대상으로 한다. 이 책이 존재하는 이유는 메트릭에 관한 조언의 대부분이 운영 세부가 빠진 프레임워크 요약이거나 도구 벤더의 기능 목록이기 때문이다. 이 책은 그 어느 쪽도 되지 않으려 한다. 무엇을 측정해야 하는지에 단호하고, 각 메트릭이 어떻게 조작되는지 명시하며, 팀이 두려워하는 대신 신뢰하는 메트릭 프로그램을 어떻게 운영할지에 실용적이다.

이 책의 독자

주된 독자는 조직이 무엇을 측정할지 고르는 사람들이다. 엔지니어링 리더, 스태프 및 프린서펄 엔지니어, 플랫폼 및 DevOps 팀, 프로그램 및 제품 관리자다. 부차적인 독자는 자기에게 움직이라고 요구되는 대시보드 뒤의 논리를 이해하고 싶거나, 목적에 더 이상 봉사하지 않는 메트릭에 이의를 제기하고 싶은 모든 엔지니어다. 처음부터 끝까지 읽을 필요는 없다. 각 주제는 독립적이며, 원칙을 먼저 서술하고 실용적인 핵심 정리, 성숙도 모델, 참고 문헌으로 끝난다.

책의 구성

이 책은 부(정수)와 주제(소수)로 나뉜다. 주제 N.0은 각 부를 소개하고 그 부의 주제들이 어떻게 연결되는지 설명한다. 주제 N.1, N.2, …가 각각의 주제를 깊이 다룬다.

• 1부, 측정의 기초: 애초에 왜 측정하는가, 굿하트의 법칙과 조작의 심리, 산출물보다 성과를 고르기, 거버넌스와 소유권, 데이터 소스, 그리고 모든 메트릭 프로그램에 필요한 통계 리터러시.
• 2부, 플로우 메트릭: 플로우 프레임워크, 그 플로우 아이템과 다섯 가지 플로우 메트릭, 주기 시간, 큐잉 이론, 고전적인 린 가치 흐름 메트릭, 풀 리퀘스트와 코드 리뷰 메트릭, 그리고 참조 주제로서의 DORA 프레임워크.
• 3부, 개발자 경험과 SPACE 프레임워크: SPACE 프레임워크와 그 다섯 차원, 그리고 개발자 경험 설문을 인기 투표로 만들지 않고 운영하는 방법.
• 4부, 코드와 품질 메트릭: 복잡도, 테스트 커버리지와 효과, 변경 빈도와 핫스팟, 정적 분석, 기술 부채, 문서화.
• 5부, 제품과 비즈니스 메트릭: 빠져나간 결함, 기능 채택, 고객 및 비즈니스 성과, 단위 경제성, 투자 수익.
• 6부, 신뢰성, 운영, 보안 메트릭: SLI, SLO, 에러 버짓, 인시던트 메트릭, 온콜과 용량, 보안과 취약점 메트릭.
• 7부, AI 시대의 메트릭: 생성형 AI의 패러다임 전환, AI 지원 개발을 측정하는 방법, 메트릭 인플레이션의 위험, 그리고 산출물이 싸질 때 성과 텔레메트리가 왜 북극성이 되는가.
• 8부, 메트릭 프로그램 구축: 대시보드 설계, 직접 만들까 살까, 두려움을 키우지 않고 메트릭 도입하기, 성숙도 모델, 단계적 도입 로드맵.
• 9부, 부록: 용어집, 메트릭 정의와 공식 참조, 체크리스트, 템플릿, 성숙도 자가 평가, 참고 문헌, 색인.

지침이 되는 원칙

여덟 가지 원칙이 이 책의 뼈대를 이룬다.

1. 목표가 된 측정 지표는 더 이상 좋은 측정 지표가 아니다. 왜곡이 나타난 뒤가 아니라 처음부터 굿하트의 법칙에 맞서 설계하라.
2. 활동보다 산출물, 산출물보다 성과. 모든 메트릭 세트의 무게를 팀이 만든 것이나 얼마나 바빴는지가 아니라 고객이나 비즈니스에 무엇이 달라졌는지 쪽으로 기울여라.
3. 인센티브가 걸린 모든 메트릭에는 가드레일이 필요하다. 속도는 품질과, 처리량은 안정성과 짝지어라. 하나의 숫자를 따로 떼어 쫓지 마라.
4. 사람이 아니라 시스템을 측정하라. 책임을 개인화하는 메트릭은 신뢰를 무너뜨리고 조작을 부른다. 시스템의 제약을 드러내는 메트릭은 개선을 부른다.
5. 가능하면 자기 보고보다 계측을, 계측이 안 되면 자기 보고를 택하라. 배포 횟수는 파이프라인에서 나오고, 만족은 묻는 데서 나온다.
6. 메트릭은 제 자리를 얻거나 은퇴한다. 대시보드의 타일은 모두 주의를 소모한다. 의도적으로 가지치기하라.
7. 대시보드보다 정의가 중요하다. “리드 타임”을 서로 다르게 계산하는 두 팀은 숫자를 두고 행동하기보다 숫자를 두고 논쟁하는 데 더 많은 시간을 쓴다.
8. 생성형 AI는 기준선을 다시 잡는 것만이 아니라 재점검할 이유다. 산출물이 싸지면 산출물 양을 중심으로 만든 메트릭에는 새 목표만이 아니라 새 가드레일이 필요하다.

가로지르는 주제

굿하트의 법칙은 주제 1.2에만 머물지 않고 이 책의 모든 부를 관통하는 하나의 주제다. 모든 메트릭 패밀리 주제는 다루는 메트릭이 어떻게 조작되는지, 어떤 가드레일이 그것을 잡아내는지 밝힌다. 메트릭이 법적 또는 계약상의 무게를 가질 수 있는 정부와 기업의 보고 의무는 한 주제에 갇힌 사후 고려가 아니라 책 전체에서 설계의 입력으로 다룬다.

활용 방법

단계적으로 도입하라. 대시보드를 가져 본 적 없는 팀에 한꺼번에 떨어뜨리지 마라. 고통이 가장 큰 곳에서 시작하고, 각 주제의 성숙도 모델로 자신의 위치를 정직하게 가늠하고, 도입 로드맵(주제 8.5)이 작업 순서를 정하게 하라. 목표는 차트의 벽이 아니다. 자신이 하는 일이 효과가 있는지 증거를 가지고 말할 수 있고, 자기 숫자를 충분히 신뢰해서 그에 따라 행동할 수 있는 조직이다.