1.4 메트릭 거버넌스와 소유권

개요 및 동기

소유자가 없는 메트릭은 일어나기를 기다리는 상시적인 논쟁이다. 두 팀이 “활성 사용자”를 서로 다르게 계산해서 추세를 관리하는 대신 수치를 맞추느라 회의를 소비한다. 아무도 유지 관리하지 않는 대시보드 타일은 아무도 알아채지 못한 채 몇 달 동안 조용히 낡아 간다. 원래 한 팀의 진단을 위해 만들어진 메트릭이 그 원래 정의가 결코 지원하도록 설계되지 않은 목적으로 다른 팀에 의해 채택된다. 이 중 어느 것도 통계적인 의미의 측정 문제가 아니다. 이것은 거버넌스 문제이며, 조직이 이미 코드에 적용하고 있는 것과 동일한 규율로 해결할 수 있다: 명시적인 소유권, 문서화된 단일 진실 공급원, 그리고 검토 절차다.

거버넌스는 그 자체를 위한 관료주의가 아니다. 그것은 메트릭 프로그램이 조직 규모와의 접촉에서 살아남게 하는 것이다. 단일 팀은 자신의 메트릭 정의를 누군가의 머릿속에 간직하고 매일의 대화를 통해 드리프트를 바로잡을 수 있다. 각각 메트릭을 생산하고 소비하는 수십 개 팀을 가진 조직은 그럴 수 없다. 거버넌스 없이는 정의가 조용히 드리프트하고, 메트릭은 아무도 가지치기하지 않은 채 증식하며, 리더십이 두 보고서가 일치하지 않는다는 것을 알아챌 때쯤에는 그것을 조정하는 비용이 낭비된 회의와 훼손된 신뢰로 이미 여러 번 지불된 후다.

엔터프라이즈와 정부 조직에게 거버넌스는 추가적인 무게를 지니는데, 메트릭이 원래의 대시보드를 만든 그 어떤 한 사람보다 더 오래 살아남는 실제 결과, 즉 예산 배분, 공개 성과 보고, 공급업체 계약을 점점 더 많이 이끌기 때문이다. 직원 이직을 견디고, 새로운 팀원 누구나 읽고 이해할 수 있는 메트릭 헌장이야말로 조직의 수치가 오늘로부터 5년 후에도 지금과 같은 것을 의미하도록 지켜 준다.

핵심 원칙

모든 메트릭은 정확히 한 명의 소유자를 가진다. 공유된 소유권은 소유권이 없는 것과 같다. 모두가 정의를 소유하면 아무도 그것을 유지 관리하지 않는다.
메트릭은 하나의 진실 공급원을 가진다. 두 시스템이 같은 메트릭을 다르게 계산하는 것은 드러나기를 기다리는 거버넌스 실패다.
거버넌스는 서면으로 기록되며, 부족 지식이 아니다. 누군가의 기억 속에만 존재하는 메트릭 헌장은 그 사람이 떠나면 살아남지 못한다.
은퇴는 채택만큼이나 중요하다. 건강한 메트릭 프로그램은 성장하는 만큼 의도적으로 가지치기한다.
거버넌스는 메트릭 수가 아니라 결과의 무게에 맞춰 확장된다. 공개 보고서를 이끄는 메트릭은 단일 팀이 자신의 스프린트를 디버그하는 데 쓰는 메트릭보다 더 무거운 거버넌스가 필요하다.

권장 사항

팀 경계를 넘는 모든 메트릭 집합에 대해 메트릭 헌장을 작성하라

메트릭 헌장은 메트릭 집합의 목적, 명시적인 비-목표(여기에 주제 1.1의 진단-대-평가 구분이 속한다), 각 메트릭의 소유자와 진실 공급원, 그리고 검토 주기를 명시하는 짧고 살아 있는 문서다. 한 페이지로 유지하라. 이 책의 동반 저장소에 있는 docs/examples/metrics-charter-example.md 파일이 그 형태를 보여 준다. 이렇게 짧은 헌장은 읽히지만, 정책 문서로 불어난 헌장은 읽히지 않는다.

팀이 아니라 모든 메트릭에 이름이 붙은 소유자를 지정하라

“플랫폼 팀이 이 메트릭을 소유한다”는 아무도 실제로 그것을 유지 관리하지 않을 때까지 책임을 분산시킨다. 특정한, 책임을 지는 사람이나 역할의 이름을 대라. 그 소유자는 메트릭의 정의가 정확하게 유지되는 것, 그 계측이 건강하게 유지되는 것, 그리고 “왜 이 수치가 잘못되어 보이는가”라는 질문이 불가피하게 제기될 때 그에 답하는 것에 책임을 진다. 소유권은 사람들이 역할을 바꿈에 따라 순환할 수 있고 순환해야 하지만, 헌장은 항상 현재 소유자의 이름을 대야 하며, 그 항목을 결코 비워 두어서는 안 된다.

메트릭당 하나의 진실 공급원을 확립하고 병렬 계산을 금지하라

두 시스템이 명목상 같은 이름의 메트릭을 다르게 계산할 때, 예를 들어 한 팀의 “활성 사용자”는 로그인을 세고 다른 팀은 API 호출을 세는 경우, 그 결과로 생기는 불일치는 애초에 하나의 진실 공급원에 합의하는 것보다 조정 회의에서 훨씬 더 많은 비용을 치르게 한다. 헌장에서 각 메트릭의 권위 있는 시스템을 명명하고, 동일한 메트릭의 다른 계산은 고쳐야 할 버그이거나 이름을 바꿔야 할 다른 이름의 메트릭으로 취급하라.

거버넌스 주기에 은퇴 검토를 내장하라

메트릭만 추가하고 결코 은퇴시키지 않는 메트릭 프로그램은 아무도 행동할 수 없는 대시보드 난립을 축적한다(주제 1.1). 모든 거버넌스 검토에서, 새로운 메트릭을 제안하는 것과 함께, 지난 두 주기 동안 어떤 결정도 알려주지 않은 기존 메트릭이 은퇴 후보인지 물어보라. 은퇴는 실패가 아니다. 그것은 건강한 코드베이스가 죽은 코드에 적용하는 것과 동일한 규율이다.

거버넌스의 엄격함을 물량이 아니라 결과에 맞춰 확장하라

모든 메트릭이 같은 절차를 필요로 하는 것은 아니다. 단일 팀이 자신의 스프린트를 디버그하기 위해 만드는 메트릭은 팀이 그것이 무엇을 의미하는지 아는 것 이상의 거버넌스가 거의 필요 없다. 임원 스코어카드, 공개 성과 보고서, 혹은 개인의 보상을 이끄는 메트릭은 문서화된 정의, 이름이 붙은 소유자, 감사 추적, 그리고 공개되기 전의 승인이 필요하다. 절차의 무게를 존재하는 메트릭의 수가 아니라 그 메트릭이 틀렸을 때의 결과에 맞추라.

트레이드오프: 장단점

접근법	장점	단점
공식적인 거버넌스 없음	소규모 팀에게 빠르고 낮은 오버헤드	정의가 드리프트함; 소유권이 분산됨; 대시보드가 통제 없이 난립함
메트릭 집합별 경량 헌장	저렴하고, 읽기 쉬우며, 조직과 함께 확장됨	최신 상태로 유지하려면 규율이 필요함; 마감 압박 아래 건너뛸 수 있음
무거운 중앙 메트릭 거버넌스 위원회	강한 일관성, 강한 감사 추적	새 메트릭 승인이 느림; 팀이 우회하는 병목이 될 수 있음
결과에 맞춰 확장된 거버넌스	노력을 실제 위험에 맞춤	결과를 올바르게 분류하려면 판단력이 필요함; 판돈을 과소평가함으로써 게임당할 수 있음

핵심 긴장은 일관성 대 속도다. 무거운 중앙 거버넌스는 신뢰할 수 있고 일관된 메트릭을 만들어 내지만, 팀이 긴급한 질문에 답하기 위해 무언가를 빠르게 계측하고 싶어 하는 바로 그 순간 팀의 속도를 늦춘다. 팀이 자신의 진단적 사용을 위해서는 자유롭게 계측하도록 허용하고, 메트릭이 팀 경계를 넘거나 평가적 또는 공개적 용도를 이끌게 될 때만 완전한 헌장, 소유권, 승인 규율을 요구함으로써 거버넌스의 무게를 결과에 맞춰 확장하는 것으로 이 긴장을 해결하라.

팀과 논의할 질문

팀 경계를 넘는 모든 메트릭에 이름이 붙은 소유자가 있으며, 오늘 물어본다면 그 소유자는 자신이 책임자라는 것을 알아볼 것인가? “플랫폼 팀이 그것을 소유한다”는 답이 아니다. 특정한 사람이나 역할이 답이다. 팀 간 메트릭을 감사하고, 소유자가 있기는 하다면 그 소유자가 실제로 자신이 그 책임을 지고 있다는 것을 아는지 확인하라.
우리는 현재 어디서 명목상 같은 이름의 메트릭을 두 가지 다른 방식으로 계산하고 있으며, 그 불일치를 조정하는 데 얼마나 많은 시간을 써 왔는가? 이것은 대규모 조직에서 가장 비용이 많이 들고 가장 흔한 거버넌스 실패 중 하나이며, 문서화된 단일 진실 공급원으로 완전히 예방 가능하다. 실제 사례가 있다면 가져와서 그 비용을 추적해 보라.
우리는 마지막으로 언제 메트릭을 은퇴시켰으며, 무엇이 그 결정을 촉발했는가? 메트릭을 추가하는 방법만 설명할 수 있고 제거하는 방법은 결코 설명할 수 없는 조직은 대시보드 부채를 축적하고 있는 것이다. 은퇴를 떠올릴 수 없다면, 그 부재 자체가 이 질문에 대한 답이다.
우리의 거버넌스 절차는 결과에 비례하는가, 아니면 모든 메트릭이 판돈과 무관하게 같은 무게의 검토를 거치는가? 낮은 판돈의 팀 메트릭에 지나치게 무거운 거버넌스는 안전상의 이점 없이 작업을 늦춘다. 공개 보고서나 보상 결정을 이끄는 메트릭에 지나치게 가벼운 거버넌스는 실제 위험이다. 결과별로 현재 메트릭을 지도로 그리고 그에 비추어 절차의 무게를 정직하게 확인하라.
메트릭을 만든 사람이 역할을 바꾸거나 떠날 때 그 메트릭의 소유권에는 무슨 일이 일어나는가? 한 사람의 머릿속에만 존재하는 메트릭 헌장은 그 사람과 함께 사라진다. 메트릭 하나를 골라 신입 사원이 문서만으로 그 정의, 진실 공급원, 목적을 이해할 수 있는지 물어봄으로써 이를 시험해 보라.
메트릭의 정의가 조용히 바뀌었다는 것을 우리는 어떻게 알 수 있을까? 수치가 계산되는 방식의 변경이 이름의 변경이나 이력에 대한 기록 없이 이루어지면, 누군가 과거와 현재 데이터를 비교해 설명할 수 없는 불연속성을 발견할 때까지 거의 보이지 않는다. 오늘날 당신의 메트릭이 어떤 형태의 변경 이력이라도 지니고 있는지 논의해 보라.

분야별 관점

스타트업. 모두가 이미 모든 수치가 무엇을 의미하는지 아는 다섯 명 규모의 팀에게 공식적인 거버넌스는 보통 과하다. 그럼에도 일찍 채택할 가치가 있는 유일한 규율은 메트릭당 단일 소유자를 서면으로 지정하는 것인데, 이는 거의 비용이 들지 않으면서 처음 몇 명의 신입이 합류해 수치가 무엇을 의미하는지 묻기 시작할 때 혼란을 예방하기 때문이다.

중소기업. 여기서 거버넌스는 주로 스프레드시트와 플랫폼 내장 대시보드가 조용히 갈라지게 두는 대신 각 메트릭의 진실 공급원으로 하나의 도구를 선택하고 고수하는 것을 의미한다. 신입 직원이 여기저기 물어보지 않고도 수치가 무엇을 의미하는지 알아낼 수 있도록, 비공식적일지라도 헌장을 단일한 공유 문서로 작성하라.

엔터프라이즈. 여기서 거버넌스는 제 몫을 한다. 사업부 전반에 걸쳐 정의를 표준화하고, 임원 스코어카드를 이끄는 모든 것에 헌장을 요구하며, 반복되는 거버넌스 주기에 은퇴 검토를 내장하라. 이 규모에서는 대시보드 난립이 유지 비용과 두 사업부가 같은 것에 대해 모순된 수치를 보고할 때의 신뢰도 손실 양쪽에서 빠르게 비싸지기 때문이다.

정부. 여기서 거버넌스는 흔히 법적 또는 감사 차원을 지닌다: 공개된 성과 지표는 법정 보고 요건을 충족해야 할 수 있으며, 정의 변경은 실제 정치적 결과를 초래할 수 있다. 방법론을 공개적으로 문서화하고, 변경 자체가 공개적으로 정당화되지 않는 한 보고 기간에 걸쳐 정의를 동결하며, 현재 값뿐 아니라 메트릭 정의 자체에 대한 독립적인 감사를 상시적인 거버넌스 관행으로 취급하라.

사례

엔터프라이즈. 한 다국적 소프트웨어 회사는 인수 후 통합 과정에서 가장 큰 두 사업부가 “배포 빈도”를 서로 다르게 정의하고 있다는 것을 발견했다: 하나는 스테이징 환경으로의 모든 푸시를 셌고, 다른 하나는 오직 프로덕션 릴리스만 셌다. 리더십은 1년 넘게 실제로는 비교할 수 없는 수치를 이용해 두 사업부의 전달 성과를 비교해 왔다. 해결책은 단일한 메트릭 정의 용어집(이 책의 주제 9.2에 반영됨)을 발행하고, 모든 팀에 준수를 인증하도록 요구하며, 한 분기 안에 모호한 지역적 정의를 은퇴시킨 회사 전체 메트릭 거버넌스 위원회였다.

정부. 디지털 서비스 성과 대시보드를 발행하는 책임을 지는 한 국가 통계청은 “SLA 내 해결됨”이 계산되는 방식의 변경이, 버그라고 생각한 것을 고치던 한 엔지니어링 팀에 의해 조용히 이루어져, 그 변경에 대한 공개 문서 없이 주요 준수 수치를 몇 퍼센트 포인트 이동시켰다는 것을 발견했다. 그 청은 공개 보고서를 이끄는 모든 메트릭 정의에 대해 공식적인 변경 통제 절차를 확립했다: 제안된 변경은 문서화된 근거, 변경과 함께 게시되는 전후 비교, 그리고 이름이 붙은 책임 공무원의 승인을 요구하며, 이는 이전의 변경이 눈에 띄지 않게 통과하도록 허용했던 간극을 메웠다.

비즈니스 사례: 동기, ROI, TCO

거버넌스의 수익은 조정 비용을 피하는 것이다. 두 팀이 누구의 수치가 옳은지를 두고 논쟁하는 회의에서 보내는 모든 시간은, 규율 있는 거버넌스, 단일 진실 공급원, 이름이 붙은 소유자가 완전히 예방했을 시간이다. 엔터프라이즈 규모에서 이 비용은 수십 개 팀에 걸쳐 복합적으로 커지며, 메트릭 집합당 한 페이지짜리 헌장으로 예방할 수 있었을 문제에 리더십의 관심 중 진정으로 상당한 몫을 소모할 수 있다.

경량 거버넌스 관행, 헌장, 이름이 붙은 소유자, 정기적인 검토의 총 소유 비용은 미미하며 대부분 초기에 든다. 대안, 즉 주요 이니셔티브 1년 후에 리더십이 신뢰해 온 수치가 실제로는 결코 비교 가능하지 않았다는 것을 발견하는 것은, 낭비된 분석과 사후에 공개 또는 내부 기록을 수정하는 신뢰도 손상 양쪽에서 극적으로 더 많은 비용이 든다.

안티패턴과 함정

이름이 붙은 사람이 아닌 팀 소유권: 아무도 실제로 정의를 유지 관리하지 않을 때까지 책임을 분산시킨다.
같은 명목의 메트릭에 대한 병렬 계산: 결국의 불일치와 값비싼 조정을 보장한다.
누군가의 머릿속에만 존재하는 헌장: 그 사람이 역할을 바꾸는 순간 사라진다.
오직 추가만 하고 결코 은퇴시키지 않는 메트릭 프로그램: 아무도 행동할 수 없는 대시보드 난립을 만들어 낸다.
결과와 무관한 균일한 거버넌스 무게: 낮은 판돈의 작업을 늦추면서 높은 판돈의 공개 또는 보상 연계 메트릭을 과소 보호한다.
조용한 정의 변경: 변경 이력 없이 메트릭의 의미가 바뀌고, 역사적 비교가 조용히 무효화된다.

성숙도 모델

1단계, 시작: 메트릭에 공식적인 소유자가 없다. 정의는 개인의 기억 속에 있으며 팀 간에 조용히 드리프트한다.
2단계, 개발: 일부 팀이 자신의 메트릭에 대해 비공식적인 문서를 작성하지만, 공유되는 헌장 형식이나 팀 간 일관성은 없다.
3단계, 표준화: 팀 경계를 넘는 모든 메트릭이 문서화된 헌장, 이름이 붙은 소유자, 그리고 조직 전체에 강제되는 단일하게 합의된 진실 공급원을 가진다.
4단계, 관리: 반복되는 거버넌스 주기가 지속적인 관련성에 대해 메트릭을 검토하고, 더 이상 제 몫을 하지 못하는 것을 은퇴시키며, 눈에 보이는 이력으로 정의 변경을 추적한다.
5단계, 조율: 거버넌스는 결과에 비례하고, 가능한 곳에서는 자동화되며(문서화되지 않거나 소유되지 않은 메트릭을 표시하는 메트릭 카탈로그), 조직은 요청 시 발행된 어떤 수치에 대해서도 그 전체 출처를 증명할 수 있다.

논의를 위한 아이디어

신입 사원이 문서만으로 우리의 가장 중요한 세 메트릭이 실제로 무엇을 의미하는지 알아낼 수 있을까?
우리의 어떤 메트릭을 현재 두 개의 다른 시스템이 다르게 계산하고 있는가?
우리는 마지막으로 언제 메트릭을 은퇴시켰으며, 어떻게 그렇게 결정했는가?
우리의 거버넌스 절차는 결과가 가장 높은 곳에서 더 무거운가, 아니면 균일한가?
우리 조직의 단 하나의 가장 중요한 대외용 메트릭은 이름으로 누가 소유하는가?

핵심 요약

모든 메트릭에는 팀이 아니라 한 명의 이름이 붙은 소유자, 그리고 병렬 계산이 아니라 하나의 진실 공급원이 필요하다.
팀 경계를 넘는 모든 메트릭 집합에 대해 목적, 비-목표, 소유권, 검토 주기를 명시하는 짧고 살아 있는 메트릭 헌장을 작성하라.
은퇴는 채택만큼이나 중요한 거버넌스 규율이다. 의도적으로 가지치기하라.
거버넌스의 엄격함을 메트릭 수가 아니라 결과에 맞춰 확장하라: 공개적이거나 평가적이거나 보상과 연계된 메트릭에는 더 무거운 절차를.
메트릭 정의는 조용히 드리프트할 수 있다. 직원 이직을 견디고 수치에 대한 신뢰가 살아남도록 눈에 보이는 이력으로 변경을 추적하라.

참고 문헌 및 추가 자료

Ladley, John. Data Governance: How to Design, Deploy, and Sustain an Effective Data Governance Program. Morgan Kaufmann, 2012.
Austin, Robert D. Measuring and Managing Performance in Organizations. Dorset House, 1996.
Parmenter, David. Key Performance Indicators: Developing, Implementing, and Using Winning KPIs. Wiley, 2015.
U.S. Government Accountability Office (GAO): 성과 측정 및 GPRA 현대화법 관련 지침.