7.4 새로운 북극성으로서의 결과 원격 측정

개요 및 동기

이 주제는 7부를 마무리하며, 실질적인 의미에서 주제 1.3 이후 이 책 전체가 구축해 온 주장을 단일하고 직접적인 주장으로 마무리한다: 생성형 AI가 원시 산출을 저렴하게 만듦에 따라, 활동이나 산출이 아니라 실제 결과의 지속적이고 계측된 측정인 결과 원격 측정은 여러 좋은 관행 중 하나이기를 멈추고 메트릭 프로그램이 그 주위에 구축되어야 하는 조직화 원칙이 된다. 이것은 여기서 처음 소개되는 새로운 아이디어가 아니다. 그것은 주제 1.3이 이 책의 시작 부분에서 소개한 아이디어이며, 이제 단지 선호되는 것이 아니라 모든 대안을 전보다 더 위험하게 만든 기술 전환에 대한 필요한 대응으로 제시된다.

논리는 직접적이다. 생성형 AI 이전에는, 산출량이 불완전하지만 가치가 없지는 않은 노력에 대한, 그리고 느슨하게 가치에 대한 대용물이었다. 더 많은 기능을 배포한 팀은 그 작업이 항상 올바른 작업은 아니었더라도 최소한 더 많은 작업을 한 것이었다. 생성형 AI는 그 느슨한 연결마저 끊는다: 도구가 몇 초 만에 그것을 생성할 수 있기 때문에 산출량은 더 이상 노력을 신뢰성 있게 나타내지 않으며, 주제 7.3이 부풀려진 산출이 악화되는 품질과 공존할 수 있음을 보여 주었기 때문에 그것은 확실히 가치를 나타내지 않는다. 이 전환을 온전히 견뎌 내는 메트릭은 정확히 이 책이 시작 주제부터 구축하라고 강조해 온 것들이다: 누락된 결함율(주제 5.1), 기능 채택(주제 5.2), 고객과 비즈니스 결과(주제 5.3), 신뢰성(6부), 개발자 웰빙(3부). 이것들 중 어느 것도 근본적인 코드가 어떻게 생산되었는지에 의존하지 않는다. 그것들 모두 결과로서 실제로 무슨 일이 일어났는지를 측정한다.

대규모 팀에게 이 주제의 주장은 앞으로 메트릭 프로그램이 어떻게 구축되고 재구축되어야 하는지에 대한 직접적이고 실용적인 결과를 가진다. AI 채택에 비추어 엔지니어링 대시보드를 재설계하는 엔터프라이즈 조직은 이 주제가 기술하는 결과 원격 측정 인프라를 향해 투자 비중을 특별히 두어야 한다. AI 도구와 그것이 내장된 더 넓은 기술 프로그램을 둘 다 평가하는 정부 조직은, 이 주제가 신뢰할 수 있고 미래에 대비하는 모든 평가의 기준선으로 권장하는 같은 결과 원격 측정 기준으로 둘 다 유지해야 한다.

핵심 원칙

산출이 저렴해지면 결과 원격 측정은 단지 선호되는 것이 아니라 필요해진다. 이것은 주제 1.3의 창립 원칙이며, 이제 열망이 아니라 긴급하다.
이 전환을 견뎌 내는 메트릭은 이 책이 내내 구축해 온 것들이다: 누락된 결함, 채택, 비즈니스 결과, 신뢰성, 웰빙.
주로 산출 메트릭 주위에 구축된 메트릭 프로그램은 이제 단지 차선의 선택이 아니라 부채다. 산출 메트릭은 규모에서 저렴하고 빠르게 부풀려질 수 있다.
결과 원격 측정은 실제 투자, 계측, 더 느린 신호에 대한 인내, 더 빠르고 저렴하지만 이제 신뢰할 수 없는 산출 메트릭을 향한 끌림에 저항하는 조직적 규율을 요구한다.
이 원칙은 특정한 AI 도구나 벤더보다 더 오래 지속된다. 그것은 지나가는 유행에 대한 일시적인 조정이 아니라 산출이 의미하는 것의 지속적인 전환에 대한 내구성 있는 대응이다.

권장 사항

결과 원격 측정 대 산출 추적이라는 메트릭 투자 비율을 감사하라

현재 메트릭 인프라, 계측 노력, 대시보드 공간, 검토 회의 시간의 대략 어느 비율이 결과 메트릭(5부, 6부, 3부의 개발자 웰빙)으로 가는지와 산출 및 활동 메트릭(배포 수, 커밋 양, 풀 리퀘스트 처리량)으로 가는지를 계산하라. 산출 추적이 지배적이라면, 그 비율 자체가 이 주제의 주장에 비추어 이제 부채이며, 그것을 재조정하는 것이 이 주제가 권장하는 단일하고 가장 지렛대 효과가 큰 변화다.

결과 원격 측정 인프라에 1급 엔지니어링 투자로서 의도적으로 투자하라

결과 측정, 기능 채택 추적, 비즈니스 결과 상관관계(주제 5.3), 신뢰성 계측(6부)은 많은 조직이 오늘날 많은 대시보드를 지배하는 비교적 저렴하고 쉬운 산출 메트릭에 비해 역사적으로 자원을 과소 배정해 온 실제이고 지속적인 엔지니어링 투자를 요구한다. 이 인프라 투자를 AI 도구 투자 자체 뒤에 있는 부차적인 관심사가 아니라 이 책이 다른 모든 중요한 엔지니어링 역량에 적용하는 것과 같은 진지함으로 취급하라.

결과 원격 측정이 더 느리다는 것을 받아들이고 전달하며, 조직의 기대에 그것에 대한 인내를 구축하라

결과 메트릭은 거의 그 본질상 산출 메트릭보다 더 지체되고 더 잡음이 많다(주제 1.3의 선행 대 후행 구분, 주제 1.6의 통계적 주의). 산출 숫자가 상승하는 것을 지켜보는 빠르고 만족스러운 피드백에 익숙한 조직은 결과 원격 측정이 제공하는 더 느리고 더 정직한 신호에 대한 진정한 인내를 구축해야 하며, 리더십은 빠른 결과를 보여 주라는 압박 아래 반사적으로 더 빠르지만 이제 신뢰할 수 없는 대안에 손을 뻗기보다 그 인내를 적극적으로 전달하고 모범을 보여야 한다.

이 전환을 단지 결과 메트릭을 나란히 추가하는 기회가 아니라 진정으로 구식이 된 산출 메트릭을 퇴역시키는 기회로 사용하라

더 이상 제값을 하지 못하는 메트릭을 퇴역시키는 주제 1.1의 규율을 따라, 변경되지 않은 기존 대시보드 위에 단순히 결과 메트릭을 추가하기보다 이 순간을 이 전환이 특별히 가치를 떨어뜨린 산출 및 활동 메트릭을 제거하는 의도적인 기회로 사용하라. 모든 기존 산출 메트릭을 유지하면서 새로운 결과 메트릭을 덧붙이는 대시보드는 진정으로 개선되기보다 부풀려진다.

결과 원격 측정 투자를 특정한 AI 도구나 벤더 관계와 무관하게 내구성 있는 것으로 취급하라

결과 원격 측정 인프라를 올해 당신의 조직이 마침 사용하고 있는 특정 AI 도구에 대한 반응이 아니라 영구적인 조직적 역량으로 구축하라. 이 원칙, 그리고 그것이 요구하는 인프라는 특정한 벤더 관계나 도구 세대보다 더 오래 지속될 것이며, 그것을 내구성 있는 역량으로 구축하는 것은 현재의 전환만큼이나 다음 기술 전환으로부터도 당신의 메트릭 프로그램을 보호한다.

트레이드오프: 장단점

접근법	장점	단점
산출 메트릭 지배적인 대시보드	빠르고 저렴한 피드백; 대부분의 조직에 친숙함	생성형 AI가 산출 비용에 미치는 영향을 감안할 때 이제 적극적으로 신뢰할 수 없음
결과 원격 측정 지배적인 대시보드	이 전환에 회복력이 있음; 실제로 중요한 것을 측정함	더 느리고 더 잡음이 많은 신호; 실제 계측 투자가 필요함
변경되지 않은 산출 메트릭 옆에 결과 메트릭 추가하기	점진적이고 덜 혼란스러움	진정한 개선이 아니라 대시보드 부풀림을 만들어 냄
결과 원격 측정을 향한 전체적이고 의도적인 재조정	이 전환을 직접적이고 완전하게 다룸	가장 중대한 조직적이고 투자적인 변화가 필요함

핵심 긴장은, 실질적인 의미에서, 이 책이 주제 1.3에서 시작한 것과 같은 긴장이며, 이제 가장 긴급한 형태로 날카로워졌다: 빠르고 친숙한 피드백 대 더 느리고 정직한 신호다. 산출 메트릭은 항상 생산하기 더 쉽고 빨랐다. 이 주제의 주장은 생성형 AI가 그 트레이드오프를 단지 차선에서 적극적으로 위험한 것으로 옮겼다는 것이다. 이 책이 시작 주제부터 권장해 온 방식으로 긴장을 해결하라: 결과 쪽으로 결정적으로 비중을 두고, 진정한 가치 측정과 함께 오는 더 느린 피드백을 받아들이고, 그 더 느린 피드백의 불편함을 단지 편리한 것이 아니라 실재하는 무언가를 측정하는 정직한 비용으로 취급하라.

팀과 논의할 질문

우리의 현재 메트릭 인프라와 대시보드 관심의 어느 비율이 결과 메트릭으로 가고 어느 비율이 산출 및 활동 메트릭으로 가는가? 이 비율을 정직하게 계산하라. 처음으로 평가된 대부분의 조직은 그것이 추측했던 것보다 더 산출에 치우쳐 있다는 것을 발견한다.
더 빠르고 저렴한 산출 추적을 선호해 우리가 미뤄 온 특정한 결과 원격 측정 인프라 투자는 무엇인가? 구체적인 예(기능 채택 계측, 비즈니스 결과 상관관계 도구)를 지목하고 그것을 실제로 구축하는 데 무엇이 필요할지 논의하라.
우리 조직은 결과 원격 측정의 더 느린 피드백에 대한 진정한 인내를 구축했는가, 아니면 빠른 결과에 대한 압박이 계속 우리를 더 빠르지만 이제 신뢰할 수 없는 산출 메트릭 쪽으로 다시 끌어당기는가? 당신 자신의 최근 보고와 검토 회의에서 이 패턴에 대해 정직하라.
이 주제의 주장이 특별히 그것에 적용되는 지금, 우리의 현재 대시보드에서 진정으로 퇴역 후보인 산출이나 활동 메트릭은 무엇인가? 최소한 하나를 식별하고 단순히 공백을 남기기보다 그것을 무엇이 대체해야 할지 논의하라.
우리의 AI 도구 벤더나 현재 세대의 AI 코딩 보조 도구가 내년에 극적으로 바뀐다면, 우리의 메트릭 프로그램은 여전히 버틸 것인가? 이것은 당신의 결과 원격 측정 투자가 진정으로 내구성 있고 영구적인 역량으로 구축되었는지, 아니면 단지 현재의 도구 상황에 특정한 반응인지를 테스트한다.
우리 조직이 점진적으로가 아니라 결정적으로 메트릭 투자를 결과 쪽으로 재조정하여 이 주제의 주장에 완전히 전념하는 것은 어떤 모습일까? 이것을 추상적으로 남겨 두기보다 구체적으로 스케치하라. 현재 상태와 이 비전 사이의 간극이 이 전환에 대응하기 위한 당신 조직의 실제 로드맵이다.

분야별 관점

스타트업. 산출 메트릭이 깊이 뿌리내린 조직적 습관이 될 기회를 갖기 전에 일찍 결과 원격 측정을 구축하는 것은 나중에 그것을 개조하는 것보다 진정으로 더 쉽다. 처음부터 AI 코딩 지원을 채택하는 젊은 회사는 기존의 산출 메트릭 지배적인 문화를 풀어낼 필요 없이 결과 우선으로 메트릭 프로그램을 구축할 진정한 기회를 가진다.

중소기업. 이 책이 다루는 모든 결과 범주에 걸쳐 포괄적인 계측을 시도하기보다, 생존과 성장을 가장 직접적으로 반영하는 단일 결과 메트릭(주제 5.3)에 결과 원격 측정 투자를 집중하라. 겸손하고 집중된 결과 원격 측정 투자가 이 주제의 주장이 이제 특별히 가치를 떨어뜨린 포괄적인 산출 메트릭 대시보드보다 낫다.

엔터프라이즈. 이 주제가 권장하는 재조정은 이 규모에서 진정하고 상당한 조직적 변화이며, 흔히 경영진의 후원과 여러 분기에 걸친 투자 계획이 필요하다. 이 책이 다루는 다른 모든 주요 인프라 투자와 같은 진지함으로 그것을 다루고, 재조정된 대시보드가 더 일찍 포착했을 메트릭 부풀림과 품질 희석에 대한 주제 7.1과 주제 7.3의 특정하고 구체적인 사례를 사용해 투자에 대한 내부 사례를 구축하라.

정부. 주로 전달과 산출 메트릭(배포된 기능, 일정대로)으로 평가되는 정부 기술 프로그램은 주제 5.3이 기술한 바로 그 회의론에 점점 더 취약해지고 있으며, AI 도구 채택이 정부 기관이 채용하고 비교되는 더 넓은 업계로 퍼짐에 따라 이 주제의 주장은 그 취약성을 더욱 날카롭게 만든다. 공공 보고와 예산 정당화의 주요 근거로 결과 원격 측정을 구축하여, 당신의 조직을 이 전환보다 뒤가 아니라 앞서 위치시키라.

사례

엔터프라이즈. 주제 7.1의 금융 기술 사례에서 기술된 메트릭 부풀림 아슬아슬한 사례에 직접 촉발된 한 소프트웨어 회사의 엔지니어링 리더십은 메트릭 투자 비율에 대한 전체 감사를 수행했으며 대시보드 공간과 계측 노력의 거의 70%가 산출 및 활동 메트릭에 바쳐졌고 결과 원격 측정에는 겸손하고 일관성 없는 투자만 이루어졌다는 것을 발견했다. 이듬해에 걸쳐, 그 회사는 주제 7.1의 감사가 가장 노출된 것으로 표시했던 여러 산출 메트릭을 퇴역시키고 해방된 역량을 기능 채택과 비즈니스 결과 계측(주제 5.2, 주제 5.3)에 투자하여 이 비율을 의도적으로 재조정했다. 이듬해 이사회 회의에서 제시된 결과 대시보드는 그것이 대체한 산출 중심 버전보다 엔지니어링 투자를 평가하는 의미 있게 더 신뢰할 수 있는 근거로, 이전에 회의적이었던 바로 그 이사회 구성원에 의해 명시적으로 인정받았다.

정부. 이전의 산출 메트릭 지배적인 대시보드가 지속적인 입법적 회의론을 끌어냈기 때문에 특별히 처음부터 새로운 엔지니어링 메트릭 프로그램을 구축하는 한 국가 디지털 서비스 기관은 이 주제의 원칙을 창립 설계 결정으로 명시적으로 채택했다: 결과 원격 측정, 즉 시민 대기 시간, 서비스 완료율, 누락된 결함율이 모든 공공 보고의 주요 근거가 될 것이며, 산출과 전달 메트릭은 내부 진단 도구로서만 유지되고 외부에 제시되는 헤드라인 증거로는 결코 사용되지 않을 것이다. 이 생성형 AI 전환에 비추어 의도적으로 구축된 결과 우선 설계는, 더 이른 세대의 산출 메트릭 가정 주위에 구축된 선행 프로그램이 결코 달성하지 못했던 내구성과 감독 위원회와의 신뢰성을 그 기관의 보고에 주었다.

비즈니스 사례: 동기, ROI, TCO

결과 원격 측정에 결정적으로 전념하는 수익은 미래의 어떤 기술 변화를 통해 산출이 다시 저렴해질 때마다 또 다른 상당한 점검이 필요한 프로그램이 아니라 현재의 기술 전환과 그 이후 무엇이 오든 신뢰할 수 있고 신뢰성 있게 유지되는 메트릭 프로그램이다. 위의 소프트웨어 회사 사례는 이것을 구체적으로 보여 준다: 재조정된 대시보드는 이전의 산출 중심 버전이 진정한 위험에 빠뜨렸던 신뢰성을 직접 복구했다.

총 소유 비용은 이 주제가 권장하는 결과 원격 측정 인프라 투자이며, 대규모 조직에게는 진정으로 상당하고 여러 분기에 걸친 작업이다. 이것은 산출이 계속 더 저렴해짐에 따라 점점 덜 신뢰할 수 있게 되는 메트릭 프로그램의 내구성 있고 장기적인 위험과 견주어진다. 이것은 이 책이 당신이 가볍게 받아들이기를 요구하는 비용이 아니다. 그것은 이 책의 마지막 부분이 당신에게 요구하는 만큼 진지하게 주제 1.3의 창립 주장을 받아들이는 것의 직접적이고 필요한 결과다.

안티패턴과 함정

이 전환이 진정한 재조정이 아니라 점진적인 조정만 요구한다고 취급하기: 생성형 AI가 산출 메트릭이 의미하는 것에 도입한 변화의 규모를 과소평가한다.
변경되지 않고 여전히 지배적인 산출 메트릭 집합 옆에 결과 메트릭 추가하기: 이 주제가 주장하는 진정한 재조정이 아니라 대시보드 부풀림을 만들어 낸다.
결과 원격 측정 투자를 내구성 있는 역량이 아니라 특정한 현재 AI 도구에 대한 반응으로 구축하기: 조직을 같은 방식으로 다음 기술 전환에 노출된 채로 둔다.
결과 원격 측정의 더 느린 피드백에 대한 조직적 인내를 구축하지 못하기: 빠른 결과에 대한 압박 아래 더 빠르지만 이제 신뢰할 수 없는 산출 메트릭으로 되돌아갈 위험이 있다.
진정한 결과 원격 측정 대체 없이 산출 메트릭 퇴역시키기: 진정한 개선이 아니라 측정 공백을 남긴다.
이 전환을 이 책의 창립 원칙의 실현이 아니라 단지 AI 도구에 대한 대응으로 이해관계자에게 제시하기: 주장의 내구성과 일반성을 과소평가한다.

성숙도 모델

1단계, 시작: 대시보드가 산출 메트릭 지배적인 상태로 남아 있으며, 이 부가 기술하는 전환에 대한 의도적인 대응이 없다.
2단계, 개발: 일부 결과 메트릭이 추가되었지만, 전체 투자 비율은 여전히 산출에 치우쳐 있고 어떤 메트릭도 의도적으로 퇴역되지 않았다.
3단계, 표준화: 결과 원격 측정을 향한 의도적인 감사와 재조정이 수행되었으며, 진정으로 구식이 된 산출 메트릭이 조직 전체에서 퇴역되었다.
4단계, 관리: 결과 원격 측정 인프라가 1급의 지속적인 엔지니어링 투자로 취급되며, 그 더 느린 피드백에 대한 조직적 인내가 적극적으로 함양되고 보호된다.
5단계, 조율: 조직의 메트릭 프로그램은 내구성 있고 영구적인 설계 원칙으로서 결과 원격 측정이 주도하며, 현재의 기술 전환을 통해 회복력이 입증되었고 다음에 무엇이 오든 회복력을 유지하도록 명시적으로 구축되어 있다.

논의를 위한 아이디어

결과 메트릭 대 산출 메트릭 투자에 대한 우리의 실제 현재 비율은 무엇인가?
우리는 이번 분기에 어떤 단일 산출 메트릭을 퇴역시켜야 하며, 어떤 결과 메트릭이 그것을 대체해야 하는가?
최근 조직적 조급함이 우리를 더 빠르지만 덜 신뢰할 수 있는 산출 메트릭 쪽으로 어디서 다시 끌어당겼는가?
우리의 결과 원격 측정 투자는 내구성이 있는가, 아니면 특별히 우리의 현재 AI 도구 상황에 묶여 있는가?
점진적으로 조정하기보다 이 주제의 주장에 완전히 전념하려면 무엇이 필요할까?

핵심 요약

생성형 AI가 산출을 저렴하게 만들면 결과 원격 측정은 단지 선호되는 것이 아니라 필요해진다. 이것은 주제 1.3의 창립 원칙이며, 이제 긴급하다.
이 전환을 견뎌 내는 메트릭은 이 책이 내내 구축해 온 것들이다: 누락된 결함, 채택, 비즈니스 결과, 신뢰성, 웰빙.
단지 결과 메트릭을 나란히 추가하기보다 진정으로 구식이 된 산출 메트릭을 퇴역시키며 메트릭 투자 비율을 의도적으로 감사하고 재조정하라.
결과 원격 측정의 더 느린 피드백에 대한 조직적 인내를 구축하고, 압박 아래 더 빠르지만 이제 신뢰할 수 없는 산출 메트릭으로의 끌림에 저항하라.
특정한 AI 도구나 벤더와 무관하게 이 투자를 내구성 있는 역량으로 구축하여, 현재의 전환뿐 아니라 미래의 기술 전환으로부터도 당신의 메트릭 프로그램을 보호하라.

참고 문헌 및 추가 자료

Accelerate: The Science of Lean Software and DevOps, by Nicole Forsgren, Jez Humble, and Gene Kim.
Lean Analytics, by Alistair Croll and Benjamin Yoskovitz.
The Innovator’s Dilemma, by Clayton M. Christensen.
Measure What Matters, by John Doerr.