9.3 체크리스트

즉시 사용 가능한 빠른 참조 체크리스트. 하나를 당신 자신의 절차에 복사하고 적응시켜라. 요점은 정확한 문구가 아니라 커버리지다.

새 메트릭 검토 체크리스트(대시보드에 메트릭을 추가하기 전)

• 메트릭이 그것이 알려 주는 명명된 결정을 가지고 있다(주제 1.1)
• 메트릭이 서면으로 진단적인지 평가적인지 분류되어 있다(주제 1.1)
• 인센티브화된 경우, 가드레일 메트릭이 동시에 정의되어 있다(주제 1.2)
• 게임화 벡터가 명명되었다: 합리적인 팀이 실제 결과를 개선하지 않고 어떻게 이 숫자를 좋아 보이게 만들 것인가(주제 1.2)
• 메트릭이 입력, 산출, 혹은 결과로 분류되어 있다(주제 1.3)
• 메트릭이 명명된 소유자와 문서화된 소스 시스템 및 수집 방법을 가지고 있다(주제 1.4, 주제 1.5)
• 근본적인 데이터가 왜곡되어 있다면 메트릭이 평균이 아니라 중앙값이나 백분위수를 사용할 것이다(주제 1.6)
• 메트릭이 결코 개인 평가에 사용되지 않거나, 그 사용이 별도로 명시적으로 공개되어 있다(주제 1.1)

대시보드 출시 체크리스트

• 대시보드가 하나의 명명되고 특정한 청중과 결정을 가지고 있다(주제 8.1)
• 모든 인센티브화된 메트릭이 그 가드레일과 같은 뷰에 나타난다(주제 1.2, 주제 8.1)
• 명시되고 보이는 예외가 문서화되어 있지 않은 한 축이 0에서 시작한다(주제 1.6)
• 단일 스냅샷이 아니라 시간에 따른 추세가 보인다(주제 1.6)
• 대시보드가 명명된 소유자와 검토 주기를 가지고 있다(주제 1.4)
• 관련이 있다면, 대시보드가 무엇을 위한 것이 아닌지 눈에 보이는 진술이 선언되어 있다(주제 1.1)
• 고장 난 파이프라인이 조용히 최신 상태로 렌더링되지 않도록 데이터 소스가 기본적인 건강 점검을 가지고 있다(주제 1.5)

메트릭 프로그램 롤아웃 체크리스트

• 목적과 명시적인 비목표가 반응적으로가 아니라 출시 전에 전달되었다(주제 8.3)
• 측정되는 사람들이 메트릭 선택에 참여했다(주제 8.3)
• 프로그램이 전념된 최소 입증 기간과 함께 진단 전용 모드로 시작한다(주제 8.3)
• 향후 어떤 오용 인시던트에 대해서도 빠르고 눈에 보이는 대응 프로토콜이 존재한다(주제 8.3)
• 지시받은 팀이 아니라 진정으로 자원한 시범 팀이 선택되었다(주제 8.5)
• 계측이 시작되기 전에 기초적인 거버넌스(헌장, 소유권, 진단 정책)가 갖춰져 있다(주제 1.4, 주제 8.5)

인시던트 및 포스트모템 체크리스트

• 포스트모템이 개인이 아니라 시스템을 조사한다(주제 6.2)
• 심각도가 문서화되고 표준화된 기준에 맞서 분류되었다(주제 6.2)
• 감지, 인지, 해결 시간이 별도로 기록된다(주제 6.2)
• 조치 항목이 구체적이고, 할당되어 있으며, 완료까지 추적된다(주제 6.2)
• 포스트모템이 개인적 결과에 대한 두려움 없이 공유된다(주제 6.2, 주제 8.3)

AI 시대 메트릭 감사 체크리스트

• 각 대시보드 메트릭이 다음에 맞서 테스트되었다: “AI 지원을 많이 사용하지만 더 많은 실제 가치를 만들어 내지 않는 팀이 여기서 개선된 수치를 보일 것인가”(주제 7.1)
• AI 지원 배포 빈도나 커밋 양의 상승과 함께 변경 실패율과 결함율이 검토된다(주제 7.1)
• AI 생성 코드 양이 변화함에 따라 리뷰 역량과 깊이가 모니터링된다(주제 7.1)
• 과거의 결함율 관계가 여전히 유지되는지 가정하지 않고 테스트하기 위해 누락된 결함이 AI 지원 수준별로 태그되어 있다(주제 7.1, 주제 7.3)
• “올바르게 보이는” 결함에 저항하는 감지 방법(뮤테이션 테스트, 속성 기반 테스트)이 AI가 많이 사용된 코드 경로에 갖춰져 있다(주제 7.3)
• 메트릭 헌장이 검토되지 않은 채로 표류하도록 두지 않고 이 전환에 대해 명시적으로 재검토되고 업데이트되었다(주제 1.4, 주제 7.1)

메트릭 프로그램 감사 체크리스트(연례)

• 모든 메트릭이 여전히 명명된 소유자를 가지고 있다(주제 1.4)
• 적어도 하나의 메트릭이 더 이상 제값을 하지 못하게 되었다면 지난 주기에 퇴역되었다(주제 1.1)
• 5차원 성숙도 평가가 평균이 아니라 최솟값으로 점수 매겨 정직하게 수행되었다(주제 8.4)
• 명시적이고 공개된 결정 없이 진단적 사용에서 평가적 사용으로 표류한 메트릭이 없다(주제 1.1)
• 정의가 표류에 대해 실제 계측에 맞서 무작위 점검되었다(주제 1.2, 주제 2.4, 주제 5.1, 주제 6.2, 주제 6.4)
• 주요 대시보드의 결과 대 산출 비율이 계산되고 검토되었다(주제 7.4)