8.2 도구 환경: 구축 대 구매

개요 및 동기

이 책의 지침을 구현하는 모든 조직은 결국 실용적인 인프라 결정에 직면한다: 내부적으로 메트릭 도구를 구축할지, 상업적인 엔지니어링 분석 플랫폼을 구매할지, 혹은 실제로 가장 흔하게는, 둘의 어떤 조합을 선택할지다. 이 주제는 주제 5.5가 다른 모든 엔지니어링 투자에 적용하는 것과 같은 엄격함으로 그 결정을 다룬다: 맥락과 무관하게 균일하게 적용되는 기본 답이 아니라, 당신 조직의 규모, 기존 데이터 소스, 그리고 이 책으로부터 실제로 추적하려는 특정 메트릭에 특화된 정직한 비용 편익 분석이다.

상업적인 엔지니어링 분석 도구 시장은 상당히 성숙했으며, 많은 플랫폼이 이제 DORA 메트릭(2부), 풀 리퀘스트와 리뷰 데이터(주제 2.9), 그리고 점점 더 개발자 경험 설문 인프라(주제 3.7)에 대해 탄탄하고 대체로 자동화된 계측을 제공한다. 이 성숙함은 많은 조직에게 적어도 기초 계층을 구매하는 쪽으로 계산을 바꾸었지만, 특히 주제 7.4가 이제 메트릭 프로그램의 필요한 중심이라고 주장하는 결과 원격 측정 주변에서 특정하고 맞춤화된 필요에 대한 구축 옵션의 진정한 이점을 제거하지는 못했다. 결과 원격 측정은 흔히 이 책이 다루는 측정 범주 중 가장 표준화되지 않고 가장 조직 특화된 것이다.

대규모 팀에게 이 결정은 실제이고 지속적인 예산과 엔지니어링 역량 결과를 가진다. 엔터프라이즈 조직은 흔히 진정으로 이질적인 레거시 및 현대 시스템 환경에 걸쳐 메트릭 도구를 통합해야 하며, 이는 구축 대 구매 계산을 상당히 형성한다. 정부 조직은 흔히 조달 제약과 데이터 주권이나 보안 요건에 직면하며, 이것들은 어떤 상업적 옵션이 조금이라도 실행 가능한지에 실질적으로 영향을 미치고, 순수한 비용 편익 분석만이 시사하는 것과 무관하게 때때로 결정을 구축 쪽이나 특정하고 검증된 벤더 쪽으로 기울인다.

핵심 원칙

이것은 좀처럼 전부 아니면 전무인 결정이 아니다. 대부분의 성숙한 메트릭 프로그램은 잘 표준화된 메트릭을 위한 구매된 도구와 조직 특화된 결과 원격 측정을 위한 구축된 도구를 결합한다.
잘 표준화되고 널리 필요한 메트릭은 구매하고, 진정으로 조직 특화된 메트릭은 구축하라. DORA 메트릭과 풀 리퀘스트 분석은 상품 영역이다. 당신의 특정한 비즈니스 결과 상관관계(주제 5.3)는 보통 그렇지 않다.
데이터 소유권과 이동성은 기능 비교만큼이나 중요하다. 당신의 메트릭 데이터를 가두는 도구는 단지 불편함이 아니라 지속적인 위험이다.
통합 비용은 구축 대 구매 분석에서 두 옵션 모두 흔히 과소평가된다.
조달, 보안, 데이터 주권 제약은 순수한 비용 편익 계산을 압도할 수 있으며, 특히 정부 조직에서 그렇다.

권장 사항

상품 계층은 구매하라: DORA, 리뷰, 설문 인프라

성숙하고 널리 이용 가능한 상업적 도구를 가진 메트릭 집단, 즉 DORA 메트릭 계측(2부), 풀 리퀘스트와 코드 리뷰 분석(주제 2.9), 개발자 경험 설문 플랫폼(주제 3.7)에 대해, 구매는 보통 특정 규모 이하의 대부분 조직에게 더 나은 경제적 선택이다. 동등한 인프라를 구축하는 것은 많은 벤더가 이미 크게 투자해 온 엔지니어링 노력을 중복하며, 자신의 버전을 구축하는 것으로부터 얻을 수 있는 진정한 차별화는 제한적이기 때문이다.

진정으로 조직 특화된 결과 원격 측정은 구축하라

주제 7.4가 당신의 메트릭 프로그램의 중심이어야 한다고 주장하는 결과 메트릭, 즉 비즈니스 결과 상관관계(주제 5.3), 당신의 특정 제품에 묶인 기능 채택(주제 5.2), 당신의 특정 비용 구조에 묶인 단위 경제성(주제 5.4)에 대해서는, 상업적 도구가 훨씬 덜 표준화되어 있으며 흔히 당신 조직의 특정한 비즈니스 로직과 데이터 모델을 광범위하고 비싼 맞춤화 없이는 포착할 수 없다. 이는 결국 결과에 대한 완전한 통제권을 가지고 내부적으로 동등한 역량을 구축하는 것보다 더 많은 비용이 들 수 있다.

벤더에 전념하기 전에 데이터 소유권과 이동성을 평가하라

상업적 계약에 서명하기 전에, 사용 가능하고 표준적인 형식으로 전체 과거 메트릭 데이터를 내보낼 수 있는지 확인하고, 벤더를 전환하거나 서비스를 중단할 경우 그 데이터와 그 이력에 무슨 일이 일어나는지 이해하라. 데이터 락인 때문에 벗어나기 어려워지는 벤더 관계는 단순한 불편함이 아니라 지속적인 조직적 위험이며, 이 평가는 다른 중요하고 여러 해에 걸친 인프라 헌신과 같은 진지함을 받을 자격이 있다.

결정의 양쪽 모두에서 통합 비용에 대해 현실적으로 예산을 짜라

구축하든 구매하든, 도구를 실제 버전 관리, CI/CD, 인시던트 추적, 비즈니스 시스템에 연결하는 통합 비용은 어느 경로에 대한 초기 계획에서든 흔히 과소평가된다. 상업적 도구가 최소한의 설정으로 즉시 작동할 것이라고 가정하거나 자체 개발 솔루션의 통합 비용이 개발 비용에 대한 사소한 추가라고 가정하기보다, 구축 대 구매 분석에서 이 통합 노력을 구별되고 중요한 항목으로 명시적으로 예산에 넣어라.

조달, 보안, 주권 제약을 명시적으로 그리고 일찍 고려하라

정부와 규제되는 엔터프라이즈 조직에게 데이터 주권 요건, 보안 인증 필요, 조달 절차는 기능 품질과 무관하게 특정 상업적 옵션을 실질적으로 좁히거나 제거할 수 있으며, 때때로 결정을 구축 쪽이나 특별히 검증된 더 작은 벤더 집합 쪽으로 기울인다. 상당한 평가 노력이 이미 능력과 무관한 이유로 실행 불가능한 것으로 드러나는 옵션에 들어간 후에야 그것들을 발견하기보다, 평가 절차 초기에 명시적으로 이 제약을 식별하라.

트레이드오프: 장단점

접근법	장점	단점
상업적 도구 구매	배포하기 빠르고, 성숙한 기능 집합, 벤더가 유지보수함	조직 특화된 결과 메트릭에 대해 맞춤화가 덜 가능함; 잠재적 락인
내부 도구 구축	완전히 맞춤화되고, 완전한 데이터 소유권과 통제	상당하고 지속적인 엔지니어링 투자; 상품 메트릭에 대해 노력을 중복함
하이브리드: 상품 계층 구매, 결과 계층 구축	비용 효율성과 가장 중요한 곳의 진정한 맞춤화의 균형을 맞춤	구매한 구성 요소와 구축한 구성 요소를 일관되게 연결하는 통합 작업이 필요함
광범위한 벤더 맞춤화를 통해 결과 원격 측정을 포함한 모든 것을 구매	단일 벤더 관계, 잠재적으로 더 단순한 조달	구축하는 것만큼 비쌀 수 있으며 결과에 대한 최종 통제력이 덜함

핵심 긴장은 맞춤화 필요 대 개발 비용이다. 맞춤화로부터 가장 많은 이익을 얻는 메트릭, 즉 당신의 비즈니스에 특별히 묶인 결과 원격 측정은, 잘 구축하기에 가장 비싼 것이기도 하다. 구매하기 가장 저렴한 메트릭, 즉 DORA와 리뷰 분석은, 진정한 맞춤화가 가장 덜 중요한 것이기도 하다. 결정을 이 패턴에 직접 맞춤으로써 긴장을 해결하라: 표준화가 당신에게 잘 작동하는 곳은 구매하고, 당신의 특정 맥락이 진정으로 그것을 요구하는 곳은 구축하고, 그 분할의 양쪽 모두에서 통합 비용을 현실적으로 예산에 넣어라.

팀과 논의할 질문

이 책이 다루는 각 메트릭 집단에 대해, 우리는 맞춤화로부터 진정으로 이익을 얻을 것인가, 아니면 표준화된 상업적 도구가 똑같이 잘 작동할 것인가? 2부부터 6부까지 명시적으로 살펴보고 이 특정 테스트에 근거해 각 메트릭 집단을 구매 또는 구축 열에 분류하라.
우리는 현재 혹은 예상되는 벤더의 데이터 내보내기와 이동성 옵션을 평가했는가, 아니면 필요하면 쉽게 떠날 수 있다고 가정하고 있는가? 가정하기보다 이것을 직접 확인하라. 데이터 락인은 흔히 조직이 실제로 전환을 시도할 때에야 발견된다.
우리의 원래 구축 대 구매 분석은 통합 비용을 현실적으로 고려했는가, 아니면 주로 라이선스 비용 대 개발 시간에 초점을 맞추었는가? 최근의 도구 결정을 다시 살펴보고 통합 비용이 진정으로 추정되었는지 아니면 상당히 과소평가되었는지 확인하라.
우리는 기능 품질과 무관하게 특정 상업적 옵션을 제거할 조달, 보안, 데이터 주권 제약에 직면하는가? 실행 불가능한 것으로 드러날 수 있는 옵션에 상당한 평가 노력을 투자하기 전에, 그 후가 아니라, 이 제약을 명시적으로 식별하라.
우리의 현재 도구 환경은 각각이 의미가 있는 곳에 구축과 구매를 맞춘 의도적인 하이브리드인가, 아니면 시간이 지나면서 임기응변적이고 개별적으로 합리적인 결정을 통해 축적되었는가? 어떤 패턴이 실제로 당신의 현재 상황을 설명하는지 정직하라.
오늘 필요하다면 우리의 현재 메트릭 도구 벤더를 전환하는 데 노력과 위험 면에서 얼마나 비용이 들까? 이 구체적인 질문은 벤더의 계약 조건이 명목상 약속하는 것을 넘어 당신의 실제 현재 데이터 락인 위험 노출을 테스트한다.

분야별 관점

스타트업. 이 규모에서는 기본적으로 상품 도구를 구매하라. DORA와 리뷰 메트릭에 대해 특별히 성숙하고 저렴한 상업적 옵션이 존재할 때 맞춤형 메트릭 인프라를 구축하는 것은 귀중하고 희소한 초기 엔지니어링 역량의 좋은 사용인 경우가 거의 없다. 당신의 제품의 핵심 가치를 가장 직접적으로 반영하는 단일 결과 메트릭(주제 5.3)에 대해서만 구축 노력을 아껴 두라.

중소기업. 대부분의 상업적 도구 옵션은 합리적으로 잘 축소되며 더 작은 조직에게 접근 가능하게 가격이 책정된다. 상품 계층을 구매하는 것이 거의 항상 올바른 선택이며, 맞춤형으로 무언가를 구축하는 것은 조직이 상당히 성장하고 진정으로 특정한 필요를 개발할 때까지 거의 정당화되지 않는다.

엔터프라이즈. 이 주제가 권장하는 하이브리드 접근법은 여기서 그 복잡성을 벌어들인다: 규모에서 상품 계층을 구매하고(흔히 유리한 조건에 대한 의미 있는 협상력과 함께), 조직 특화된 결과 원격 측정 계층을 구축하는 데 의도적으로 투자하라. 이 규모에서 당신의 비즈니스 로직과 데이터 모델 복잡성은 보통 광범위하고 비싼 맞춤화 없이 일반적인 상업적 도구가 수용할 수 있는 것을 넘어서기 때문이다.

정부. 조달 절차, 보안 인증 요건, 데이터 주권 제약은 흔히 순수한 기능이나 비용 비교가 시사하는 것보다 이 결정을 더 많이 지배한다. 평가 절차 초기에 조달과 보안 이해관계자를 참여시키고, 특별히 이 제약 때문에, 구축하는 것이 본질적으로 더 낫기 때문이 아니라, 구축 옵션이 비교 가능한 민간 부문 맥락에서보다 여기서 진정으로 더 매력적일 수 있다는 것에 대비하라.

사례

엔터프라이즈. 한 소프트웨어 회사는 처음에 2부부터 6부까지의 모든 메트릭 집단을 다루는 완전히 맞춤형인 메트릭 플랫폼을 구축하려고 시도했으며, 이는 상당한 엔지니어링 역량을 소비했지만 특별히 표준화된 DORA와 리뷰 메트릭에 대해서는 여전히 성숙한 상업적 제품에 뒤처진 여러 해에 걸친 노력이었다. 수정된 전략은 이 상품 메트릭에 대해 상업적 플랫폼을 채택하여 내부 플랫폼 팀이 그 회사의 비즈니스 모델에 진정으로 특화된, 어떤 상업적 도구도 즉시 제공할 수 없었을 비즈니스 결과 상관관계와 단위 경제성 원격 측정(주제 5.3, 주제 5.4)을 구축하는 데 전적으로 집중하도록 해방시켰다. 이 하이브리드 접근법은 전체 구축 전략이 2년 후에 달성했던 것보다 1년 이내에 더 완전하고 더 진정으로 유용한 메트릭 프로그램을 제공했다.

정부. 한 연방 기관의 상업적 엔지니어링 분석 플랫폼에 대한 초기 평가는 이용 가능한 벤더 중 누구도 모든 엔지니어링 메트릭 데이터가 특정하고 인증된 정부 데이터 센터 내에 남아 있을 것을 요구하는 그 기관의 데이터 주권 요건을 충족할 수 없다는 것을 발견했다. 구매 옵션을 완전히 포기하기보다, 그 기관은 표준 상업적 가격보다 적당히 더 높은 비용으로 정부 인증을 받은 주권 클라우드 배포 옵션을 제공하는 더 작은 벤더 부분 집합을 식별했으며, 하이브리드 프로그램을 성공적으로 배포했다: 요구되는 주권 경계 내에서 상품 메트릭 계층에 대해서는 도구를 구매했고, 주권 고려 사항과 무관하게 이용 가능한 상업적 벤더가 다루지 않았던 그 기관의 특정한 시민 결과 원격 측정 필요에 대해서는 내부 도구를 구축했다.

비즈니스 사례: 동기, ROI, TCO

의도적인 하이브리드 구축 대 구매 전략의 수익은 이 주제의 사례가 보여 주는 두 가지 실패 모드를 모두 피하는 것이다: 시장에 이미 저렴하게 존재하는 상품 역량을 구축하는 낭비된 여러 해의 엔지니어링 투자, 그리고 진정으로 조직 특화된 필요를 부적합한 상업적 도구에 강요하는 좌절과 결국의 맞춤화 비용이다. 위의 엔터프라이즈 사례는 이것을 구체적으로 보여 준다: 하이브리드 접근법은 전체 구축 전략이 2년 동안 제공한 것보다 1년 만에 더 진정한 가치를 제공했다.

어느 경로에 대한 총 소유 비용도 흔히 과소평가되는 통합 비용과, 특별히 구매한 도구에 대해서는, 데이터 이동성이 사전에 확인되고 계약적으로 보호되지 않는 한 잠재적인 벤더 락인의 지속적인 위험 비용을 포함한다. 라이선스 비용이나 개발 시간만 좁게 초점을 맞추기보다 이 둘 다에 현실적으로 예산을 짜는 것은 어느 옵션에 대해서든 훨씬 더 정확한 총 비용 그림을 만들어 낸다.

안티패턴과 함정

잘 표준화된 상품 메트릭에 대해 맞춤형 도구 구축하기: 많은 벤더가 이미 크게 투자해 온 엔지니어링 노력을 중복한다.
먼저 적합성을 확인하지 않고 진정으로 조직 특화된 결과 원격 측정에 대해 상업적 도구 구매하기: 비싸고 부적합한 맞춤화나 충족되지 않은 필요의 위험이 있다.
벤더에 전념하기 전에 데이터 내보내기와 이동성에 대한 평가가 없음: 떠나려고 할 때에야 발견되는 지속적이고 비싼 락인의 위험이 있다.
결정의 어느 쪽에서든 통합 비용을 과소평가하기: 부정확한 총 비용 비교와 비현실적인 일정을 만들어 낸다.
평가 절차 후반까지 조달, 보안, 주권 제약을 무시하기: 능력과 무관한 이유로 실행 불가능한 것으로 드러나는 옵션에 평가 노력을 낭비한다.
이것을 단일하고 전부 아니면 전무인 결정으로 취급하기: 대부분 조직의 실제 혼합된 필요에 가장 잘 맞는 하이브리드 접근법을 놓친다.

성숙도 모델

1단계, 시작: 도구 결정이 의도적인 구축 대 구매 분석이나 데이터 이동성에 대한 고려 없이 임기응변으로 내려진다.
2단계, 개발: 일부 분석이 이루어지지만, 통합 비용이 일상적으로 과소평가되고 하이브리드 접근법이 의도적으로 고려되지 않는다.
3단계, 표준화: 의도적인 하이브리드 구축 대 구매 전략이 상품 메트릭을 구매한 도구에, 조직 특화된 결과 원격 측정을 구축한 도구에 일관되게 맞춘다.
4단계, 관리: 데이터 이동성이 모든 구매한 도구에 대해 확인되고 계약적으로 보호되며, 조달, 보안, 주권 제약이 명시적으로 그리고 일찍 고려된다.
5단계, 조율: 조직의 도구 환경은 상업적 제품과 조직적 필요가 진화함에 따라 정기적으로 검토되는 성숙하고 의도적인 하이브리드 전략을 반영하며, 구매된 구성 요소와 구축된 구성 요소 둘 다로부터의 입증된 가치를 가진다.

논의를 위한 아이디어

우리의 현재 메트릭 중 어느 것이 현재 얻지 못하고 있는 맞춤화로부터 가장 많은 이익을 얻을 것인가?
우리는 벤더를 전환해야 한다면 전체 과거 메트릭 데이터를 내보낼 수 있다는 것을 확인했는가?
우리의 마지막 도구 결정은 통합 비용을 현실적으로 고려했는가?
우리가 과소평가하고 있을 수 있는 조달, 보안, 주권 제약은 무엇인가?
우리의 특정 메트릭 집합에 대해 의도적인 하이브리드 전략은 어떤 모습일까?

핵심 요약

이것은 좀처럼 전부 아니면 전무가 아니다. 대부분의 성숙한 프로그램은 상품 메트릭을 위한 구매된 도구와 조직 특화된 결과 원격 측정을 위한 구축된 도구를 결합한다.
표준화된 메트릭(DORA, 리뷰 분석, 설문 인프라)은 구매하라. 진정으로 조직 특화된 결과 측정은 구축하라.
벤더에 전념하기 전에 데이터 소유권과 이동성을 평가하라. 락인은 단순한 불편함이 아니라 지속적인 위험이다.
결정의 양쪽 모두에서 통합 비용에 대해 현실적으로 예산을 짜라. 그것은 흔히 과소평가된다.
조달, 보안, 주권 제약은 순수한 비용 편익 계산을 압도할 수 있으며, 특히 정부 조직에서 그렇다.

참고 문헌 및 추가 자료

Accelerate: The Science of Lean Software and DevOps, by Nicole Forsgren, Jez Humble, and Gene Kim.
Cloud FinOps, by J.R. Storment and Mike Fuller.
The FinOps Foundation’s FinOps Framework, finops.org.
U.S. Federal Risk and Authorization Management Program (FedRAMP) documentation.