5.2 기능 채택과 사용 메트릭

개요 및 동기

기능 채택은 기능이 그것을 위해 만들어진 사람들에 의해 실제로 사용되는지, 어떤 비율로, 그리고 그 사용이 시간이 지나도 지속되는지 측정한다. 이것은, 매우 직접적인 의미에서, 이 책의 2부부터 4부까지가 측정하는 모든 것에 대한 현실 점검이다: 조직은 자주 배포하고, 훌륭한 개발자 경험을 유지하며, 완벽하게 테스트된 코드를 출시하면서도 여전히 아무도 원하지 않는 것을 만들고 있을 수 있다. 채택 데이터는 엔지니어링 조직이 그 산출물이 조금이라도 실제 결과에 연결되었는지 알아내는 곳이며, 이는 정확히 주제 1.3이 도입한 투입-산출-결과 구분이 이 책에서 가장 구체적인 사례, 즉 특정하고 출시된 기능에 적용된 것이다.

이 주제의 핵심 관심사는 채택 데이터가, 이 책의 거의 다른 어떤 메트릭 패밀리보다도, 정보를 주기보다 치장하는 방식으로 측정하기 쉽다는 것이다. 기능은 순전히 호기심이나 강제된 노출(사용자가 원하든 원하지 않든 나타나는 모달)로부터 인상적인 초기 채택을 보일 수 있는 한편, 참신함이 사라진 후에도 사람들이 계속 사용하는지로 측정되는 진정하고 지속적인 가치 전달은 완전히 다른 이야기를 전한다. 진정한 채택을 일시적인 급증으로부터 구별하는 것이 이 주제의 핵심 기술적 과제이며, 그것을 잘못하면 조직은 조용히 실패하는 기능을 일상적으로 축하하고 막 청중을 찾기 시작한 기능을 포기하게 된다.

대규모 팀에게 기능 채택 데이터는 로드맵 우선순위 지정을 자신의 팀 작업을 가장 설득력 있게 옹호하는 사람에 의해 이끌리는 것이 아니라 증거 기반으로 만드는 것이다. 큰 제품 포트폴리오를 관리하는 엔터프라이즈 조직은 어떤 투자가 제 몫을 하고 있는지 식별하기 위해 채택 데이터가 필요하다. 시민 대면 디지털 서비스를 구축하는 정부 조직은 공공 투자가 단지 기술적으로 존재하는 서비스가 아니라 사람들이 실제로 사용하는 서비스를 만들어 냈다는 것을 입증하기 위해 그것이 필요하다.

핵심 원칙

초기 채택과 지속된 채택은 다른 신호다. 호기심이나 강제된 노출로부터의 급증은 진정하고 지속적인 가치 전달과 같지 않다.
채택은 전체 사용자 기반이 아니라 그것을 위해 만들어진 청중에 비추어 측정되어야 한다.
낮은 채택을 가진 기능이 자동으로 실패인 것은 아니다. 그것은 발견이 잘 안 되었거나, 목표가 잘못되었거나, 단순히 새로운 것일 수 있다. 결론을 내리기 전에 조사하라.
단일한 채택 스냅샷보다 사용의 유지가 더 중요하다. 기능을 시도한 사람들이 계속 그것으로 돌아오는지 추적하라.
채택 데이터는 강제된 노출이나 다크 패턴을 통한 게임에 노출된다. 기능을 피하기 어렵게 만들어 부풀려진 수치는 진정한 신호가 아니다.

권장 사항

초기 시도를 지속된 유지로부터 구별하라

두 개의 별도 수치를 추적하라: 적어도 한 번 기능을 시도하는 당신의 목표 청중의 백분율(초기 채택), 그리고 4주나 8주 같은 의미 있는 기간 후에도 여전히 그것을 사용하고 있는 백분율(유지된 채택). 높은 초기 시도와 낮은 유지를 가진 기능은 발견 가능성은 작동했지만 기능 자체가 사람들을 계속 돌아오게 할 만큼 충분한 가치를 전달하지 못했다는 것을 시사하며, 이는 높은 유지를 가진 낮은 초기 시도와는 매우 다른 진단이자 매우 다른 해결책이다. 후자는 충분한 사람들이 알지 못하는 진정으로 가치 있는 기능을 시사한다.

채택을 측정하기 전에 목표 청중을 정밀하게 정의하라

전체 사용자 기반에 비추어 측정된 채택은 기능이 특정 세그먼트만을 위한 것이었다면 오도할 수 있다: 대체로 개인 사용자 기반에 비추어 측정된 엔터프라이즈 관리자용 기능은, 그것이 그것을 위해 만들어진 사람들을 실제로 얼마나 잘 섬기는지와 무관하게, 항상 형편없는 채택을 가진 것처럼 보일 것이다. 출시 전에 의도된 청중을 명시적으로 정의하고, 당신의 총 사용자 수가 아니라 그 특정 분모에 비추어 채택을 측정하라.

기능이 실패했다고 결론 내리기 전에 낮은 채택을 조사하라

낮은 채택 수치는 매우 다른 대응을 요구하는 여러 가능한 원인을 가진다: 기능이 진정으로 가치 없거나, 기능은 가치 있지만 발견 가능성이 나쁘거나(사용자가 그것이 존재한다는 것을 모른다), 기능은 가치 있지만 설명이 나쁘거나(사용자가 그것을 보지만 그 목적을 이해하지 못한다), 혹은 측정 창이 더 느리게 채택하는 기능이 아직 그 청중을 찾기에는 단순히 너무 짧은 것이다. 더 투자하거나, 재설계하거나, 폐기하기로 결정하기 전에 이것들 중 어느 것이 적용되는지 조사하라.

강제된 노출이나 다크 패턴에 의해 부풀려진 채택을 경계하라

기능을 피하기 어렵게 만드는 것, 즉 침입적인 온보딩 흐름, 사용자가 닫아야 하는 모달, 바꾸기 어려운 기본값에 의해 이끌리는 채택 수치는 진정한 가치 전달을 측정하고 있는 것이 아니며, 그것을 마치 그런 것처럼 축하하는 것은 제품 형태로 주제 1.2의 대체 게임 패턴을 반복하는 것이다. 가능한 곳에서는 원시 채택 수치를 그 특정 기능에 대한 만족도나 순추천지수(Net Promoter) 스타일 신호와 짝지어, 진정한 만족으로 이어지지 않는 강제된 노출이 축하되는 대신 잡히게 하라.

채택 추세를 구체적인 제품 및 엔지니어링 결정으로 다시 연결하라

채택이 예상치 못하게 오르거나 내릴 때, 그 움직임을 설명되지 않은 미스터리로 취급하는 대신 구체적인 결정, 즉 UI 변경, 기본 설정의 변화, 마케팅 추진, 성능 개선이나 퇴보로 거슬러 추적하라. 이것은 채택 데이터를 실행 가능한 제품 및 엔지니어링 학습에 연결하며, 구체적인 변경과 실제 사용에 대한 그 측정된 효과 사이의 고리를 닫는다.

트레이드오프: 장단점

접근법	장점	단점
총 사용자 기반에 비추어 측정	단순하고, 단일한 분모	특정 세그먼트를 겨냥한 기능에는 오도함
정의된 목표 청중에 비추어 측정	공정하고, 의도된 범위를 정확하게 반영함	출시 전 의도적인 청중 정의가 필요함
초기 시도만	빠른 신호, 출시 후 빠르게 이용 가능함	기능이 지속적인 가치를 전달하는지 놓침
초기 시도와 유지 둘 다	호기심을 진정한 가치로부터 구별함	완전한 그림이 나타나기 전에 더 오래(몇 주) 기다려야 함

핵심 긴장은 속도 대 정직함이다. 초기 시도 데이터는 출시 후 거의 즉시 이용 가능하며 조기 결과를 보고하라는 조직적 압박을 만족시키지만, 그 자체로는 호기심이나 강제된 노출을 진정하고 지속적인 가치로부터 구별할 수 없다. 초기 시도 데이터를 일찍 그리고 명확하게 예비적인 것으로 표시해 보고하면서, 고정되고 미리 결정된 간격에 후속 유지 측정을 공개적으로 약속하여, 실제 신호가 나타날 시간을 갖기 전에 이른 열광이 검토되지 않은 성공 사례로 굳어지지 않게 함으로써 이 긴장을 해결하라.

팀과 논의할 질문

우리가 가장 최근에 출시한 기능에 대해, 우리는 초기 시도와 유지된 사용을 별도로 아는가, 아니면 단일한 결합된 수치만 아는가? 결합된 수치만 존재한다면, 그 간극은 정확히 이 주제가 핵심으로 취급하는 호기심 대 가치 구분을 숨긴다.
이 기능에 대한 우리의 목표 청중은 출시 전에 명시적으로 정의되었으며, 우리는 그 특정 그룹에 비추어 채택을 측정하고 있는가? 당신의 현재 채택 분모가 기능이 실제로 누구를 위해 만들어졌는지와 일치하는지, 아니면 무관한 더 넓은 인구에 비추어 측정됨으로써 희석되었는지 확인하라.
낮은 채택을 가진 기능에 대해, 우리는 여러 가능한 원인, 즉 낮은 가치, 나쁜 발견 가능성, 나쁜 설명, 불충분한 시간 중 실제로 어느 것이 적용되는지 조사했는가? “그것은 틀림없이 가치가 없다”로 기본값을 설정하는 대신 실제이고 현재 낮은 채택의 기능에 대해 이 구체적인 진단 목록을 살펴보라.
우리가 보고한 채택 수치의 어느 부분이라도 진정하고 자발적인 사용이 아니라 강제된 노출, 침입적인 기본값, 혹은 닫아야 하는 모달에 의해 부풀려져 있는가? 여기서 정직해져라. 이것은 특히 초기 긍정적인 결과를 보여 주라는 압박 아래서 빠지기 쉬운 흔한 패턴이다.
기능에 대한 채택이 크게 움직였을 때, 우리는 그 움직임을 우리가 내린 구체적인 변경으로 거슬러 추적할 수 있었는가? 답이 보통 “우리는 확실하지 않다”라면, 그 간극은 당신의 조직이 시간이 지남에 따라 자신의 채택 데이터로부터 실제로 배울 수 있는 것을 제한한다.
우리는 채택 수치를 같은 기능에 대한 어떤 만족도 신호와 짝짓는가, 아니면 원시 사용량만 추적하는가? 낮은 만족도와 짝을 이루는 높은 채택 수치는 원시 사용량 홀로는 완전히 놓칠 경고 신호다.

분야별 관점

스타트업. 기능 채택은 흔히 젊은 회사가 가진 단일한 가장 중요한 신호이며, 제품-시장 적합성 자체에 밀접하게 연결되어 있다. 첫 번째 기능 출시부터 단지 초기 시도만이 아니라 특별히 유지를 추적하라. 회사의 생존이 이 진단을 올바르게 하는 데 달려 있을 수 있을 때 진정한 가치를 초기 호기심으로부터 구별하는 것이 중요하다.

중소기업. 대부분의 분석 플랫폼은 최소한의 설정으로 기본적인 사용 데이터를 보고한다. 주된 규율은 특정 기능이 실제로 누구를 위해 만들어졌는지와 무관하게 전체 고객 기반에 비추어 채택을 보고하는 대신 측정하기 전에 당신의 목표 청중을 명확하게 정의하는 것이다.

엔터프라이즈. 이 규모에서 채택 데이터는 큰 제품 포트폴리오에 걸친 공정하고 증거 기반인 로드맵 우선순위 지정에 필수적이며, 초기 시도를 지속된 유지로부터 구별하는 규율은 여기서 훨씬 더 중요한데, 충분히 큰 사용자 기반은 실제 가치와 무관하게 거의 모든 출시에 대해 인상적으로 보이는 초기 급증을 만들어 낼 수 있기 때문이다.

정부. 시민 대면 디지털 서비스의 채택은 공공 투자가 실제 공공 혜택으로 전환되었는지에 대한 직접적이고 구체적인 측정치이며, 흔히 전달이나 활동 개수보다 감독 기구에게 훨씬 더 설득력이 있다. 서비스가 실제로 섬기도록 만들어진 인구에 비추어 채택을 측정하고, 서비스 자체의 설계를 넘어서는 낮은 채택을 설명할 수 있는 장벽(디지털 문해력, 접근성, 인식)에 대해 정직해져라.

사례

엔터프라이즈. 한 프로젝트 관리 소프트웨어 회사는 새로운 협업 편집 기능을 출시했고 첫 2주 안에 인상적인 60% 초기 시도율을 축하했다. 8주 차의 후속 유지 측정은 그 초기 시도자 중 단 8%만이 여전히 그 기능을 정기적으로 사용하고 있다는 것을 보여 주었으며, 이는 그 높은 시도율이 거의 전적으로 진정하고 지속적인 관심이 아니라 눈에 띄고 닫기 어려운 온보딩 툴팁에 의해 이끌렸다는 것을 드러냈다. 그 기능 사용을 중단한 초기 시도자로부터의 정성적인 피드백 조사는 직관적이지 않은 상호작용 패턴이라는 구체적이고 고칠 수 있는 사용성 문제를 드러냈고, 목표를 겨냥한 재설계가 그것을 다루었으며, 유지된 사용은 그 수정 후 거의 세 배가 되었지만, 오도하게 높았던 초기 시도 수치에는 결코 근접하지 못했다.

정부. 한 국가 고용 서비스는 새로운 온라인 구인 매칭 도구를 출시했고, 처음에는 기관의 전체 등록된 사용자 기반에 비추어 채택을 보고했으며, 이는 프로그램의 지속적인 자금 지원을 위협하는 낙담스러울 만큼 낮은 백분율을 만들어 냈다. 그 도구의 목표 산업에서 적극적으로 일자리를 찾는 등록된 사용자의 부분집합, 즉 실제 의도된 청중에 비추어 특별히 채택을 측정한 개정된 분석은 상당히 더 높고 더 정확한 채택률을 보여 주었다. 그 정의된 청중에 특별히 겨냥된 목표 아웃리치 캠페인, 그리고 채택자 사이에서 강한 지속적인 사용을 보여 주는 후속 유지 측정과 결합하여, 그 프로그램은 오도하게 희석된 원래 수치가 아니라 수정되고 정직하게 겨냥된 메트릭에 근거해 지속적인 자금 지원을 확보했다.

비즈니스 사례: 동기, ROI, TCO

엄격한 기능 채택 측정의 수익은 증거 기반 로드맵 투자다: 진정하고 유지된 가치를 호기심 주도의 초기 시도로부터 구별할 수 있는 조직은 오도하는 초기 급증을 좇거나 진정으로 가치 있지만 발견하는 데 느린 기능을 조기에 포기하는 대신 진정으로 작동하고 있는 기능에 자신 있게 더 투자하고 그렇지 않은 것으로부터 노력을 재조정할 수 있다.

총 소유 비용은 대체로 분석 계측이며, 보통 대부분의 현대적인 제품 분석 플랫폼에서 이미 이용 가능하고, 거기에 더해 이르고 불완전한 신호에서 멈추는 대신 목표 청중을 명시적으로 정의하고 후속 유지 측정에 헌신하는 규율이다. 그 규율은 비용이 적게 들며 거짓 성공이나 거짓 실패를 잘못 읽는 훨씬 더 비싼 실수를 예방한다.

안티패턴과 함정

초기 시도만 보고하고 결코 유지는 보고하지 않기: 호기심이나 강제된 노출을 진정하고 지속적인 가치로부터 구별할 수 없다.
잘못된 분모에 비추어 채택 측정하기: 특정 청중 세그먼트를 겨냥한 기능에 대한 신호를 희석시키거나 부풀린다.
낮은 채택의 구체적인 원인을 조사하지 않고 기능이 실패했다고 결론 내리기: 진정으로 가치 있지만 발견이 잘 안 되거나 시기가 나빴던 기능을 포기할 위험을 무릅쓴다.
강제된 노출이나 다크 패턴에 의해 부풀려진 채택을 축하하기: 주제 1.2의 대체 게임의 제품 측 사례.
채택 움직임을 구체적인 결정으로 결코 거슬러 추적하지 않기: 조직 자체의 데이터로부터의 조직적 학습을 제한한다.
짝을 이루는 만족도 신호 없이 사용량 추적하기: 높은 사용량이 낮은 진정한 가치나 만족도와 공존하는 경우를 놓친다.

성숙도 모델

1단계, 시작: 채택이 측정되지 않거나, 단일하고 이른, 유지되지 않은 시도 수치만 보고된다.
2단계, 개발: 일부 채택 추적이 존재하지만, 목표 청중이 정밀하게 정의되지 않고 유지가 일관성 없이 측정된다.
3단계, 표준화: 모든 주요 기능에 대해 정밀하게 정의된 목표 청중에 비추어 초기 시도와 유지된 채택 둘 다 일관되게 추적된다.
4단계, 관리: 재설계나 폐기 결정 전에 낮은 채택 기능이 구체적인 근본 원인에 대해 체계적으로 조사되며, 채택이 만족도 데이터와 짝을 이룬다.
5단계, 조율: 채택 데이터가 로드맵 우선순위 지정과 투자 결정을 직접적이고 일상적으로 알려주며, 조직은 구체적인 채택 움직임을 자신 있게 구체적인 제품 및 엔지니어링 결정으로 거슬러 추적할 수 있다.

논의를 위한 아이디어

우리의 초기 시도와 유지된 채택이 매우 다른 이야기를 전한 최근의 기능은 무엇인가?
우리의 마지막 기능의 목표 청중은 출시 전에 정밀하게 정의되었는가, 아니면 그 이후에야 정의되었는가?
우리가 그 운명을 결정하기 전에 정직한 근본 원인 조사를 받을 자격이 있는 낮은 채택 기능은 무엇인가?
우리의 현재 채택 보고 중 어느 부분이라도 강제된 노출로 부풀려져 있는가?
채택 데이터를 만족도 데이터와 짝짓는 것은 우리의 가장 많이 사용되는 기능에 대해 무엇을 드러낼까?

핵심 요약

초기 시도를 지속된 유지로부터 구별하라. 호기심이나 강제된 노출로부터의 급증은 진정하고 지속적인 가치가 아니다.
무관한 더 넓은 사용자 기반이 아니라 정밀하게 정의된 목표 청중에 비추어 채택을 측정하라.
기능이 실패했다고 결론 내리기 전에 구체적인 원인을 조사하라. 여러 매우 다른 원인이 매우 다른 대응을 요구한다.
강제된 노출이나 다크 패턴에 의해 부풀려진 채택을 경계하고, 이것을 잡아내기 위해 채택을 만족도 신호와 짝지어라.
데이터를 진정한 조직적 학습으로 바꾸기 위해 채택 움직임을 구체적인 결정으로 거슬러 추적하라.

참고 문헌 및 추가 자료

Croll, Alistair, and Benjamin Yoskovitz. Lean Analytics: Use Data to Build a Better Startup Faster. O’Reilly Media, 2013.
Torres, Teresa. Continuous Discovery Habits: Discover Products That Create Customer Value and Business Value. Product Talk, 2021.
Eyal, Nir. Hooked: How to Build Habit-Forming Products. Portfolio, 2014.
Doerr, John. Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs. Portfolio, 2018.