7.0 7부 소개: AI 시대의 메트릭

지금까지 이 책의 모든 메트릭은 코드를 작성하는 것이 희소하고 노력이 드는 자원인 세계를 위해 만들어졌다. 생성형 AI 도구는 대부분의 조직의 메트릭이 따라잡은 것보다 더 빠르게 그 전제를 바꾸었다. 도구가 몇 초 만에 그럴듯해 보이는 풀 리퀘스트를 만들어 낼 수 있을 때, 이 책이 앞선 부분에서 다루는 여러 메트릭, 가장 직접적으로는 활동 수(주제 3.4), 그리고 상당한 정도로 원시 배포 빈도(주제 2.10), 부주의하게 추구된다면 테스트 커버리지(주제 4.2)조차도 더 이상 그것들이 전에 측정하던 것을 측정하지 않게 된다. 이 부가 존재하는 것은 이 전환을 명시적으로 고려하지 않는 메트릭 프로그램이 조용히 무의미해졌거나, 더 나쁘게는 적극적으로 역효과를 낳는 숫자를 자신 있게 보고할 위험이 있기 때문이다.

이 부의 네 주제는 의도적인 흐름을 따른다. 주제 7.1은 그 전환에 직접 이름을 붙이고 그것이 점진적인 조정이 아니라 패러다임 변화인 이유를 설명한다. 주제 7.2는 이 책의 맨 처음부터 주제 1.3이 확립한 산출보다 결과를 우선시하는 규율을 사용해, AI 지원 개발이 실제로 도움이 되는지 실제로 측정하는 방법을 다룬다. 주제 7.3은 이 전환이 도입하는 특정한 새로운 위험에 이름을 붙인다: 상응하는 가치 없이 부풀려지는 메트릭, 그리고 업계의 현재 감지 능력을 앞지르는 품질 희석이다. 주제 7.4는 이 전체 전환에 대한 이 책의 답으로 이 부를 마무리한다: 가장 중요한 메트릭으로서 결과 원격 측정을 향한 의도적인 전환이다. 바로 이 부가 내내 주장하듯이 산출량이 애초에 최적화할 올바른 대상이었던 적이 결코 없었으며, 생성형 AI가 단지 그 진실을 더 이상 무시할 수 없게 만들었을 뿐이기 때문이다.

대규모 팀에게 이 부는 사변적이기보다 긴급하다. AI 코딩 보조 도구를 대규모로 채택하는 엔터프라이즈 조직은 자신의 기존 메트릭이 여전히 그들이 생각하는 것을 의미하는지 빨리 알아야 한다. 흔히 AI 채택에 더 신중하게 움직이지만 그들이 채용하고 벤치마킹하는 더 넓은 업계에서 같은 근본적인 도구 전환에 직면하는 정부 조직은, 업계 벤치마크 자체가 같은 압력 아래서 변화함에 따라 그 벤치마크를 올바르게 해석하기 위해 이 부의 지침이 필요하다.

이 부의 주제

• 7.1 생성형 AI 패러다임 전환: 이것이 왜 도구 상자에 추가할 새로운 도구일 뿐이 아니라 여러 기존 메트릭이 측정하는 것에 대한 근본적인 변화인지.
• 7.2 AI 지원 소프트웨어 개발 측정하기: 산출량이 아니라 결과 데이터를 사용해 AI 지원이 실제로 도움이 되고 있는지 측정하는 방법.
• 7.3 메트릭 부풀림과 품질 희석 위험: 이 전환이 도입하는 특정한 새로운 게임화 및 품질 위험, 그리고 그것들로부터 보호하는 방법.
• 7.4 새로운 북극성으로서의 결과 원격 측정: 이 전체 전환에 대한 이 책의 답: 산출이 저렴해짐에 따라 결과 메트릭을 향한 의도적이고 영구적인 전환.

이 주제들이 어떻게 상호 연관되는가

주제 7.1은 이 부가 애초에 왜 존재하는지를 확립한다. 주제 7.2는 그 전환이 요구하는 실용적인 측정 지침을 준다. 주제 7.3은 조직이 AI 지원 개발을 채택하면서 경계해야 할 특정한 실패 모드에 이름을 붙인다. 그리고 주제 7.4는 그 교훈을 특정한 도구나 벤더보다 더 오래 지속되는 영구적인 원칙으로 일반화한다. 이 부는 2부부터 6부까지 각각 구별되는 영역을 다루는 방식의 독립적인 메트릭 집단이라기보다, 책 전체에 다시 적용되는 렌즈에 가깝다: AI 지원 개발이 예외적인 것이 아니라 표준 관행이 됨에 따라, 모든 앞선 주제의 활동, 산출, 심지어 일부 결과 메트릭도 이 부의 질문을 통해 재검토될 필요가 있다.

이 부는 주제 1.3의 산출보다 결과 원칙과 주제 3.4의 활동 메트릭에 대한 경고로 가장 직접적으로 다시 연결되며, 이 부는 둘 다 내내 옳았다고 취급한다. 이제 그것의 반대, 즉 양으로 측정하는 것을 단지 차선이 아니라 적극적으로 위험하게 만드는 기술 전환에 의해 긴급하게 입증되었다. 그것은 또한 메트릭 프로그램을 구축하는 것에 대한 8부의 실용적인 지침을 설정하는데, 이 전환 이전에 설계된 대시보드는 이 부가 다루는 것에 비추어 단지 점진적인 조정이 아니라 의도적인 재고가 필요하기 때문이다.