6.2 인시던트 메트릭: 감지, 대응, 복구

개요 및 동기

이 주제는 주제 6.1의 오류 예산이 실제 실패를 통해 소비될 때 무슨 일이 일어나는지 측정한다: 인시던트, 즉 서비스를 저하시키거나 중단시키는 계획되지 않은 사건이다. 네 가지 메트릭이 조직이 이것을 얼마나 잘 처리하는지 측정하는 표준 용어를 이룬다: 평균 감지 시간(MTTD)은 조직이 무언가 잘못되었다는 것을 알아채기까지 얼마나 걸리는지, 평균 인지 시간(MTTA)은 누군가가 대응을 책임지기까지 얼마나 걸리는지, 평균 해결 시간 또는 복구 시간(MTTR)은 서비스가 복원될 때까지 얼마나 걸리는지로, 주제 2.10이 배포로 인한 실패에 대해 구체적으로 다루었던 것과 같은 개념이 이제 원인과 무관하게 모든 인시던트로 일반화되었다. 그리고 인시던트 빈도는 단순히 인시던트가 얼마나 자주 발생하는가다.

주제 2.10의 변경 실패율 취급을 반영하는 이 주제의 핵심 관심사는, 이 숫자들이 인시던트를 정직하게 보고하고 분류하는 것을 둘러싼 조직 문화만큼만 신뢰할 수 있다는 것이다. 인시던트에 대한 비난을 두려워하는 팀은 과소 보고하거나, “책임지는 중”으로 보이는 것을 피하려고 인지를 지연시키거나, 자신의 메트릭을 보호하기 위해 심각한 사건을 경미한 것으로 분류할 모든 동기를 가진다. 엣시 같은 조직에서 개척되고 구글의 SRE 문헌에서 공식화된 비난 없는 포스트모템 관행은 구체적으로 그 동기를 제거하기 위해 존재하며, 이 주제는 그것을 메트릭 위에 쌓인 선택적인 문화적 장식이 아니라 신뢰할 수 있는 인시던트 데이터의 전제 조건으로 취급한다.

대규모 팀에게 인시던트 메트릭은 조직의 감지 및 대응 능력(주제 2.10의 롤백 도구를 포함한 투자)이 그 주제가 다루었던 특정한 배포로 인한 실패 시나리오만이 아니라 실제이고 다양한 조건 아래서 정말로 작동하는지를 드러낸다. 중요한 인프라를 운영하는 엔터프라이즈와 정부 조직은 진정한 운영 개선을 이끌기 위해 내부적으로, 그리고 인시던트가 유능하게 처리되고 시간이 지남에 따라 개선되고 있다는 것을 고객, 규제 기관, 혹은 대중에게 입증하기 위해 외부적으로 이 메트릭에 의존한다.

핵심 원칙

비난 없는 문화는 신뢰할 수 있는 인시던트 데이터의 전제 조건이지, 선택적인 추가 사항이 아니다. 비난에 대한 두려움은 보고, 인지 속도, 심각도 분류를 똑같이 부패시킨다.
감지, 인지, 해결은 구별되는 수정 사항을 가진 구별되는 단계다. 느린 전체 복구 시간은 실제로 어느 단계가 느린지에 따라 매우 다른 근본적인 문제를 숨길 수 있다.
인시던트 빈도와 MTTR은 짝을 이루는 신호다, DORA의 변경 실패율과 복구 시간(주제 2.10)과 유사하다: 둘 중 하나만으로는 전체 이야기를 말해 주지 못한다.
심각도 분류는 누락된 결함 분류(주제 5.1)와 같은 엄격함이 필요하다: 일관되고 문서화된 기준, 임기응변 판단이 아니다.
포스트모템의 가치는 숫자를 생산하는 것이 아니라 시스템적 학습에 있다. 메트릭은 좋은 관행의 목표가 아니라 부산물이다.

권장 사항

인시던트 대응 시간을 구별되는 단계로 분해하라

단일하고 혼합된 총계만이 아니라 감지 시간(실패의 실제 시작부터 누군가가 알아챌 때까지), 인지 시간(알림부터 누군가가 책임을 질 때까지), 해결 시간(책임부터 진정한 복구까지)을 별도로 측정하고 보고하라. 각 단계는 다른 수정 사항을 가리킨다: 느린 감지는 모니터링과 경보의 간극을 가리키고, 느린 인지는 온콜 절차나 에스컬레이션 문제를 가리키며, 느린 해결은 도구, 런북, 혹은 진단 능력의 간극을 가리킨다(주제 2.10이 배포로 인한 실패에 대해 이것을 구체적으로 다룬다).

진정으로 비난 없는 포스트모템 절차를 구축하고 보호하라

비난 없는 포스트모템은 무슨 일이 일어났는지와 왜 시스템이 그것이 일어나도록 허용했는지를 조사하며, 같은 상황에서 같은 정보를 가진 합리적인 사람이라면 그럴듯하게 저질렀을 실수에 대해 개인에게 책임을 돌리는 것을 명시적으로 피한다. 이 규율을 적극적으로 보호하라: 인시던트에 대한 비처벌적 대응을 모범으로 보이는 리더십, 명시적인 서면 정책, 그리고 “누가 이것을 했는가”가 아니라 “우리 시스템의 무엇이 이것을 허용했는가”를 묻는 습관은 모두 일회성 정책 선언이 아니라 필요하고 지속적인 투자다.

일관되고 문서화되고 감사된 기준으로 심각도를 분류하라

주제 5.1이 누락된 결함에 권장하는 것과 같은 규율을 인시던트 심각도 분류에 적용하라: 실제 고객이나 비즈니스 영향에 근거하고, 팀 전반에 걸쳐 일관되게 적용되며, 표류에 대해 주기적으로 감사되는 고정되고 문서화된 척도. 일부 팀은 관대하고 일부 팀은 엄격한 일관되지 않은 분류는 조직 전체의 인시던트 데이터를 일관되지 않게 분류된 결함 데이터만큼 비교에 신뢰할 수 없게 만든다.

인시던트 빈도와 MTTR을 함께 추적하고, 결코 고립해서 추적하지 마라

상승하는 인시던트 빈도와 함께 개선되는 MTTR은 근본적인 시스템 신뢰성이 실제로 저하되는 동안 소방 작업에 더 능숙해지는 팀을 나타낼 수 있다. 악화되는 MTTR과 함께 떨어지는 인시던트 빈도는 빈번한 경미한 실패를 대체하는 더 드물지만 더 심각하고 진단하기 어려운 실패를 나타낼 수 있다. 2부의 DORA 메트릭으로부터의 속도와 안정성 짝짓기 규율을 정확히 반영해 정직하고 결합된 그림을 얻기 위해 둘 다 함께 검토하라.

메트릭뿐 아니라 포스트모템으로부터 시스템적 조치 항목을 추출하고 추적하라

포스트모템 절차의 진정한 가치는 그것이 만들어 내는 구체적이고 시스템적인 조치 항목이다: 추가된 누락된 경보, 개선된 런북, 제거된 단일 장애점. 주제 4.5의 기술 부채 백로그와 같은 규율로 이 조치 항목을 완료까지 추적하라. 통찰을 만들어 내지만 후속 조치가 없는 포스트모템은 그 절차가 포착하려는 조직적 학습을 낭비하기 때문이다.

트레이드오프: 장단점

접근법	장점	단점
혼합된 단일 인시던트 대응 시간 메트릭	보고하기 단순함	감지, 인지, 해결 중 어느 특정 단계가 실제 문제인지 숨김
단계 분해된 인시던트 메트릭	진단적이며, 올바른 수정 사항을 직접 가리킴	각 단계 전환의 더 신중한 계측이 필요함
비난 지향적 인시던트 검토	책임감 있게 느껴지고, 책임을 할당하려는 욕구를 충족시킴	미래 보고의 정직함을 부패시키고 실제 시스템적 원인을 거의 고치지 못함
비난 없는 포스트모템 관행	정직한 데이터와 진정한 시스템적 수정을 만들어 냄	유지하려면 지속적인 문화적 투자와 리더십 규율이 필요함

핵심 긴장은 개인 책임의 매력 대 정직한 보고의 실질적인 필요성이다. 인시던트 후 개인을 비난하는 것은 만족스럽게 느껴질 수 있고 단호한 리더십처럼 보일 수 있지만, 사람들이 개인적인 결과를 두려워하게 되면 과소 보고하거나, 인지를 지연시키거나, 심각도를 잘못 분류하기 때문에 미래의 모든 인시던트 데이터를 꾸준히 부패시킨다. 실패를 허용한 시스템을 고치는 데서 진정한 책임이 나오는 것이지, 그것이 발생했을 때 마침 그곳에 있었던 개인을 처벌하는 데서 나오는 것이 아니라는 것을 이해하면서, 의도적이고 일관되게 비난 없는 관행 쪽으로 긴장을 해결하라.

팀과 논의할 질문

우리는 인시던트 대응 시간을 감지, 인지, 해결 단계로 분해하는가, 아니면 단일하고 혼합된 숫자만 추적하는가? 혼합된 숫자만 있다면, 최근의 중대한 인시던트를 골라 단계별 세분을 소급해서 재구성해 보고 그것이 무엇을 드러냈을지 살펴보라.
우리 팀은 우리의 포스트모템 절차가 진정으로 비난이 없다고 진심으로 믿을 것인가, 아니면 결과에 대한 두려움이 여전히 인시던트가 보고되고 논의되는 방식을 형성하는가? 이것을 직접적이고 정직하게 물어보라. 실제로 실천되지 않는 명시된 비난 없는 정책은 신뢰할 수 있는 데이터를 만들어 내지 못한다.
두 개의 다른 팀이 같은 인시던트의 심각도를 같은 방식으로 분류할 것인가? 실제이고 모호한 과거 인시던트를 골라 다른 팀의 대표자들이 독립적으로 분류하게 한 다음 결과를 비교하라.
우리는 인시던트 빈도와 MTTR을 함께 검토하는가, 아니면 하나가 다른 것보다 더 많은 관심을 받는가? 주제 2.10이 DORA 안정성 메트릭에 권장하는 것과 같은 규율을 반영해, 이 짝짓기에 대한 실제 보고 관행과 검토를 확인하라.
지난 6개월 동안 우리의 포스트모템 조치 항목 중 실제로 완료된 비율은 얼마인가? 현재 이것을 추적하지 않는다면, 그 간극은 이름 붙일 가치가 있다. 낮은 조치 항목 완료율을 가진 포스트모템 절차는 후속 조치 없이 통찰만 만들어 내고 있는 것이다.
비난에 대한 두려움이 누군가가 인시던트를 보고하거나 인지하는 것을 지연시킨 적이 있는가? 이것은 불편하지만 중요한 질문이다. 정직한 “예, 그리고 여기 무슨 일이 있었는지”라는 답은 반사적인 “아니오”보다 당신의 인시던트 절차의 건강에 훨씬 더 가치가 있다.

분야별 관점

스타트업. 소규모 팀에서는 인시던트 대응이 필요에 의해 흔히 비공식적이며, 공식적인 단계 분해는 처음에는 불필요할 수 있다. 일찍 채택할 가치가 있는 습관은 바로 첫 번째 인시던트부터의 비난 없는 토론 규범이다. 일찍 설정된 문화적 습관은 비난 성향의 패턴이 자리 잡은 후에 개조하는 것보다 유지하기가 훨씬 쉽기 때문이다.

중소기업. 기본적인 심각도 분류와 중요한 모든 것에 대한 간략한 비난 없는 회고를 가진, 비공식적이더라도 단순하고 공유된 인시던트 로그는 정교한 도구나 전용 인시던트 관리 플랫폼 없이도 이 주제의 가치 대부분을 포착한다.

엔터프라이즈. 일관된 심각도 분류와 진정하고 지속적인 비난 없는 문화는 둘 다 규모에서 유지하기 더 어려우며, 둘 다 수십 개 팀 전반에 걸쳐 신뢰할 수 있고 비교 가능한 인시던트 데이터에 필수적이다. 문서화된 분류 기준, 주기적인 감사, 비난 없는 대응의 적극적인 리더십 모범에 투자하라. 비난을 향한 문화적 표류는 의도적이고 지속적인 역압력 없이는 점진적으로 스며드는 경향이 있기 때문이다.

정부. 공공 서비스나 중요한 인프라에 영향을 미치는 인시던트는 흔히 외부의 정밀 조사, 언론의 관심, 혹은 공식 조사에 직면하며, 이는 적극적으로 관리되지 않으면 내부 비난 없는 관행을 직접 훼손할 수 있는 비난 추구 쪽으로의 강한 압력을 만들어 낸다. 진정한 시스템적 학습을 위한 명확한 내부 비난 없는 규율을, 심각한 인시던트에 뒤따를 수 있는 외부 책임 절차와 분리해서 유지하고, 그 구분을 직원에게 명확하게 전달하라.

사례

엔터프라이즈. 한 결제 회사의 엔지니어링 문화는 수년 동안 책임져 보이는 것을 피하기 위해 빨리 인지하는 것을 최소화할 것으로 비공식적으로 취급해 왔으며, 이는 리더십이 처음에는 부적절한 모니터링 도구 탓으로 돌렸던 일관되게 열악한 감지와 인지 시간으로 이어졌다. 빠른 해결만이 아니라 빠르고 정직한 인시던트 인지를 리더십이 공개적이고 구체적으로 칭찬하는 것을 포함한, 진정으로 비난 없는 포스트모템을 향한 문화적 전환은 두 분기 이내에 감지와 인지 시간 둘 다에서 측정 가능한 개선을 만들어 냈으며, 이는 원래의 병목 현상이 처음에 가정했던 것처럼 기술적인(부적절한 도구) 것이 아니라 문화적인(비난에 대한 두려움) 것이었음을 드러냈다.

정부. 한 대중교통 기관의 운영 센터는 역사적으로 내부 인시던트 로그에서 거의 모든 서비스 중단을 “경미함”으로 분류해 왔으며, 이는 심각하고 반복되는 문제에 대한 현장 직원의 지속적이고 비공식적인 불만을 감안할 때 새로운 안전 책임자가 의심스럽게 여긴 패턴이었다. 조사는 “경미함” 분류가 더 높은 심각도에 요구되는 부담스러운 공식 보고 절차를 피하게 해 주었으며, 이것이 과소 분류에 대한 의도치 않은 동기를 만들어 냈다는 것을 드러냈다. 그 기관은 모든 심각도에 대한 공식 보고 요건을 단순화하고 정직한 심각도 보고에 대해 직원을 비난으로부터 명시적으로 보호했으며, 이후의 인시던트 데이터는 더 정확하고 상당히 더 높은 진정으로 중대한 중단 비율을 보여 주었고, 마침내 리더십에게 인프라 투자를 우선시할 정직한 그림을 주었다.

비즈니스 사례: 동기, ROI, TCO

진정으로 비난 없고, 잘 분류되고, 단계 분해된 인시던트 메트릭의 수익은 두려움에 의한 과소 보고나 잘못된 분류가 만들어 내는 안심되지만 거짓된 그림이 아니라 실제로 시스템적 개선을 이끄는 정직한 데이터다. 위의 결제 회사 사례는 이것을 구체적으로 보여 준다: 도구 투자가 아니라 문화적 수정이 리더십이 기술적 감지 문제로 오진했던 것을 해결했다.

이 규율의 총 소유 비용은 대부분 문화적이고 절차적인 투자다: 비난 없는 관행에 대한 지속적인 리더십 헌신, 문서화되고 감사된 심각도 분류 기준, 포스트모템 조치 항목을 완료까지 추적하는 규율. 그 투자는 대안, 즉 두려움이 모든 입력을 부패시켰기 때문에 자신 있게 틀린 데이터를 만들어 내는 인시던트 메트릭 프로그램보다 비용이 적게 든다.

안티패턴과 함정

비난 지향적 인시던트 검토: 미래의 모든 인시던트에 대해 보고의 정직함, 인지 속도, 심각도 분류를 부패시킨다.
혼합된 대응 시간 숫자만 추적하기: 감지, 인지, 해결 중 어느 특정 단계가 실제 문제인지 숨긴다.
팀 전반에 걸친 일관되지 않은 심각도 분류: 조직 전체의 인시던트 데이터를 비교에 신뢰할 수 없게 만든다.
인시던트 빈도와 MTTR을 고립해서 검토하기: 짝을 이루는 신호가 제공하는 결합되고 정직한 그림을 놓친다.
통찰을 만들어 내지만 완료된 조치 항목이 없는 포스트모템 절차: 그 절차가 포착하려는 조직적 학습을 낭비한다.
리더십이 실제로 실천하지 않는 명시된 비난 없는 정책: 공공연하게 비난 지향적인 문화와 같은 두려움에 의한 데이터 부패를 만들어 낸다.

성숙도 모델

1단계, 시작: 인시던트 대응이 비공식적이고, 보고가 일관되지 않으며, 비난 성향 문화가 정직한 보고를 적극적으로 저해한다.
2단계, 개발: 일부 인시던트 추적이 존재하지만, 심각도 분류가 일관되지 않고 비난 없는 관행이 명시되지만 일관되게 실천되지 않는다.
3단계, 표준화: 일관되고 문서화된 심각도 분류를 가진 단계 분해된 인시던트 메트릭이 진정으로 비난 없는 포스트모템 관행과 함께 조직 전체에서 추적된다.
4단계, 관리: 인시던트 빈도와 MTTR이 함께 검토되고, 포스트모템 조치 항목이 완료까지 추적되며, 분류가 일관성에 대해 주기적으로 감사된다.
5단계, 조율: 조직은 정직한 데이터와 진정한 시스템적 수정을 만들어 내는 비난 없는 관행의 입증되고 지속된 실적을 가지고 있으며, 인시던트 메트릭이 신뢰성 투자 결정을 직접적이고 신뢰성 있게 알린다.

논의를 위한 아이디어

우리의 포스트모템 절차는 그것이 진정으로 비난이 없는지에 대한 정직한 테스트를 견딜 것인가?
우리의 가장 느린 최근 인시던트의 단계별 세분(감지, 인지, 해결)은 무엇인가?
두 팀이 우리의 마지막 중대한 인시던트의 심각도를 같은 방식으로 분류할 것인가?
우리의 최근 포스트모템 조치 항목 중 실제로 완료된 비율은 얼마인가?
비난에 대한 두려움이 우리 팀에서 인시던트가 보고되거나 논의되는 방식을 형성한 적이 있는가?

핵심 요약

비난 없는 포스트모템 문화는 전제 조건이다 신뢰할 수 있는 인시던트 데이터에 있어서. 비난에 대한 두려움은 보고, 인지 속도, 분류를 똑같이 부패시킨다.
대응 시간을 감지, 인지, 해결 단계로 분해하라. 각각 다른 수정 사항을 가리킨다.
주제 5.1의 누락된 결함 규율을 반영해 일관되고 문서화되고 감사된 기준으로 심각도를 분류하라.
DORA의 안정성 메트릭과 같은 짝짓기 규율로 인시던트 빈도와 MTTR을 함께 검토하라, 결코 고립해서가 아니다.
포스트모템 조치 항목을 완료까지 추적하라. 메트릭은 좋은 관행의 목표가 아니라 부산물이다.

참고 문헌 및 추가 자료

Site Reliability Engineering: How Google Runs Production Systems, by Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy, eds.
The Site Reliability Workbook, by Betsy Beyer, Niall Richard Murphy, David K. Rensin, Kent Kawahara, and Stephen Thorne, eds.
The Field Guide to Understanding Human Error, by Sidney Dekker.
Allspaw, John, “Blameless PostMortems and a Just Culture,” Etsy Engineering Blog (2012).