5.2 Метрики принятия и использования функций

Обзор и мотивация

Принятие функций измеряет, действительно ли люди, для которых была построена функция, фактически пользуются ею, с какой скоростью, и сохраняется ли это использование со временем. В очень прямом смысле это проверка реальностью всего, что измеряют части 2–4 этой книги: организация может развёртывать часто, поддерживать отличный опыт разработчика и отгружать безупречно протестированный код, и всё же строить вещи, которые никому не нужны. Данные принятия это то место, где инженерная организация узнаёт, связалась ли её выработка вообще с каким-либо реальным результатом, именно то различие входа-выхода-результата, введённое темой 1.3, применённое к самому конкретному случаю этой книги: конкретной, отгруженной функции.

Центральная забота этой темы в том, что данные принятия, больше почти любого другого семейства метрик этой книги, легко измерить способом, льстящим, а не информирующим. Функция может показать впечатляющее начальное принятие чисто из любопытства или вынужденного воздействия (модальное окно, появляющееся независимо от того, хочет его пользователь или нет), тогда как подлинная, устойчивая поставка ценности, измеренная тем, продолжают ли люди пользоваться ею, как только новизна угасает, рассказывает совершенно другую историю. Различение подлинного принятия от временного всплеска центральный технический вызов этой темы, и ошибка здесь регулярно приводит организации к празднованию функций, тихо проваливающихся, и отказу от тех, что только начинали находить свою аудиторию.

Для крупных команд данные принятия функций это то, что делает приоритизацию дорожной карты основанной на доказательствах, а не движимой тем, кто наиболее убедительно отстаивает работу своей собственной команды. Корпоративным организациям, управляющим крупными продуктовыми портфелями, нужны данные принятия, чтобы определить, какие инвестиции оправдывают себя; государственным организациям, строящим цифровые услуги, обращённые к гражданам, они нужны, чтобы продемонстрировать, что общественная инвестиция произвела услуги, которыми люди фактически пользуются, а не просто услуги, технически существующие.

Ключевые принципы

• Начальное принятие и устойчивое принятие разные сигналы. Всплеск от любопытства или вынужденного воздействия не то же самое, что подлинная, длительная поставка ценности.
• Принятие следует измерять против аудитории, для которой оно было построено, а не против всей вашей пользовательской базы без разбора.
• Функция с низким принятием не автоматически провал. Она может быть плохо находимой, плохо нацеленной или просто новой; исследуйте перед выводом.
• Удержание использования важнее единого снимка принятия. Отслеживайте, продолжают ли люди, попробовавшие функцию, возвращаться к ней.
• Данные принятия подвержены манипулированию через вынужденное воздействие или тёмные паттерны. Число, раздутое тем, что функцию трудно избежать, не подлинный сигнал.

Рекомендации

Различайте начальную пробу от устойчивого удержания

Отслеживайте два отдельных числа: процент вашей целевой аудитории, пробующей функцию хотя бы раз (начальное принятие), и процент, всё ещё пользующийся ею после значимого периода, такого как четыре или восемь недель (удержанное принятие). Функция с высокой начальной пробой и низким удержанием предполагает, что находимость сработала, но сама функция не предоставила достаточно ценности, чтобы люди продолжали возвращаться, очень другой диагноз и очень другое исправление, чем низкая начальная проба с высоким удержанием, предполагающая подлинно ценную функцию, о которой недостаточно людей знает.

Определяйте целевую аудиторию точно перед измерением принятия

Принятие, измеренное против всей вашей пользовательской базы, может вводить в заблуждение, если функция предназначалась только для конкретного сегмента: функция для корпоративных администраторов, измеренная против в основном индивидуальной пользовательской базы, всегда будет выглядеть так, будто у неё ужасное принятие, независимо от того, насколько хорошо она фактически служит людям, для которых была построена. Определяйте предполагаемую аудиторию явно перед запуском и измеряйте принятие против этого конкретного знаменателя, а не вашего общего числа пользователей.

Исследуйте низкое принятие перед выводом, что функция провалилась

У низкого числа принятия есть несколько возможных причин, требующих очень разных ответов: функция подлинно не ценна, функция ценна, но плохо находима (пользователи не знают о её существовании), функция ценна, но плохо объяснена (пользователи видят её, но не понимают её назначения), или окно измерения просто слишком коротко для медленнее принимаемой функции, чтобы она уже нашла свою аудиторию. Исследуйте, что из этого применимо, прежде чем решить дальше инвестировать, перепроектировать или вывести из эксплуатации.

Следите за принятием, раздутым вынужденным воздействием или тёмными паттернами

Число принятия, движимое тем, что функцию трудно избежать, навязчивый поток адаптации, модальное окно, которое пользователь должен закрыть, настройка по умолчанию, которую трудно изменить, не измеряет подлинную поставку ценности, и празднование его, как если бы это было так, повторяет паттерн манипулирования подстановкой из темы 1.2 в продуктовой форме. Сочетайте сырые числа принятия с сигналом удовлетворённости или в стиле Net Promoter для конкретной функции, где это осуществимо, так чтобы вынужденное воздействие, не переводящееся в подлинную удовлетворённость, было поймано, а не отпраздновано.

Связывайте тренды принятия обратно с конкретными продуктовыми и инженерными решениями

Когда принятие неожиданно растёт или падает, прослеживайте изменение обратно к конкретному решению, изменению интерфейса, изменению настроек по умолчанию, маркетинговому толчку, улучшению или регрессии производительности, а не относитесь к движению как к необъяснённой загадке. Это связывает данные принятия с применимым на практике продуктовым и инженерным обучением, замыкая цикл между конкретным изменением и его измеренным эффектом на реальное использование.

Компромиссы: плюсы и минусы

Подход	Плюсы	Минусы
Измерение против общей пользовательской базы	Просто, единый знаменатель	Вводит в заблуждение для функций, нацеленных на конкретный сегмент
Измерение против определённой целевой аудитории	Честное, точное отражение предполагаемого охвата	Требует сознательного определения аудитории перед запуском
Только начальная проба	Быстрый сигнал, доступен сразу после запуска	Упускает, предоставляет ли функция длительную ценность
Начальная проба плюс удержание	Различает любопытство от подлинной ценности	Требует более долгого ожидания (недель), прежде чем появится полная картина

Центральное напряжение: скорость против честности. Данные начальной пробы доступны почти немедленно после запуска и удовлетворяют организационное давление сообщить ранние результаты, но они не могут сами по себе отличить любопытство или вынужденное воздействие от подлинной, длительной ценности. Разрешайте напряжение, сообщая данные начальной пробы рано и явно помечая их как предварительные, при этом публично обязуясь провести последующее чтение удержания через фиксированный, заранее определённый интервал, так чтобы ранний энтузиазм не затвердел в непроверенную историю успеха, прежде чем у реального сигнала было время проявиться.

Вопросы для обсуждения в команде

1. Для нашей самой недавно отгруженной функции, знаем ли мы начальную пробу и удержанное использование отдельно, или только единое объединённое число? Если существует только объединённое число, этот пробел скрывает именно то различие любопытства против ценности, которое эта тема считает центральным.

2. Была ли наша целевая аудитория для этой функции определена явно перед запуском, и измеряем ли мы принятие против этой конкретной группы? Проверьте, соответствует ли ваш текущий знаменатель принятия тому, для кого функция фактически была построена, или он разбавлен измерением против нерелевантной более широкой популяции.

3. Для функции с низким принятием, исследовали ли мы, какая из нескольких возможных причин, низкая ценность, плохая находимость, плохое объяснение, недостаточное время, фактически применима? Пройдитесь по этому конкретному диагностическому списку для реальной, текущей функции с низким принятием, а не по умолчанию заключайте «она, должно быть, не ценна».

4. Раздута ли какая-либо часть нашего сообщаемого числа принятия вынужденным воздействием, навязчивой настройкой по умолчанию или требующим закрытия модальным окном, а не подлинным, добровольным использованием? Будьте здесь честны; это распространённый и лёгкий паттерн, в который можно впасть, особенно под давлением показать ранние положительные результаты.

5. Когда принятие функции значимо менялось, могли бы мы проследить это движение обратно к конкретному изменению, которое мы сделали? Если ответ обычно «мы не уверены», этот пробел ограничивает, насколько ваша организация фактически может учиться на собственных данных принятия со временем.

6. Сочетаем ли мы числа принятия с каким-либо сигналом удовлетворённости для той же функции, или мы отслеживаем только сырое использование? Высокое число принятия, сочетающееся с низкой удовлетворённостью, предупреждающий знак, который одно сырое использование полностью упустило бы.

Отраслевой взгляд

Стартап. Принятие функций часто единственный самый важный сигнал, который есть у молодой компании, тесно связанный с самим соответствием продукта рынку. Отслеживайте удержание конкретно, а не только начальную пробу, с самого первого запуска функции, поскольку различение подлинной ценности от раннего любопытства критически важно, когда выживание компании может зависеть от правильности этого диагноза.

Малый бизнес. Большинство платформ аналитики сообщают базовые данные использования с минимальной настройкой; главная дисциплина это ясное определение вашей целевой аудитории перед измерением, а не сообщение принятия против всей вашей клиентской базы независимо от того, для кого конкретная функция фактически была построена.

Корпорация. Данные принятия в этом масштабе существенны для честной, основанной на доказательствах приоритизации дорожной карты по крупному продуктовому портфелю, и дисциплина различения начальной пробы от устойчивого удержания здесь важна ещё больше, поскольку достаточно крупная пользовательская база может произвести впечатляюще выглядящий начальный всплеск почти для любого запуска независимо от реальной ценности.

Государство. Принятие цифровой услуги, обращённой к гражданам, прямая, конкретная мера того, перевелась ли общественная инвестиция в реальную общественную пользу, и это часто гораздо более убедительная метрика для надзорного органа, чем число поставки или активности. Измеряйте принятие против населения, которому услуга фактически была построена служить, и будьте честны о барьерах (цифровая грамотность, доступ, осведомлённость), которые могут объяснять низкое принятие за пределами собственного дизайна услуги.

Примеры

Корпорация. Компания программного обеспечения для управления проектами запустила новую функцию совместного редактирования и праздновала впечатляющую долю начальной пробы 60% в первые две недели. Последующее чтение удержания через восемь недель показало, что только 8% из тех первоначальных пробовавших всё ещё регулярно пользовались функцией, раскрыв, что высокая доля пробы была движима почти исключительно заметной, трудно закрываемой подсказкой адаптации, а не подлинным, устойчивым интересом. Исследование качественной обратной связи от ранних пробовавших, переставших пользоваться функцией, раскрыло конкретную, исправимую проблему удобства использования, неинтуитивный паттерн взаимодействия, который адресовал целевой редизайн, и удержанное использование почти утроилось после исправления, хотя оно никогда не приблизилось к вводящему в заблуждение высокому числу начальной пробы.

Государство. Национальная служба занятости запустила новый онлайн-инструмент подбора работы, первоначально сообщая принятие против всей зарегистрированной пользовательской базы агентства, производя обескураживающе низкий процент, угрожавший продолжающемуся финансированию программы. Пересмотренный анализ, измеряющий принятие конкретно против подмножества зарегистрированных пользователей, активно ищущих работу в целевых отраслях инструмента, фактической предполагаемой аудитории, показал существенно более высокую и точную долю принятия. В сочетании с целевой кампанией охвата конкретно этой определённой аудитории и последующим чтением удержания, показавшим сильное устойчивое использование среди принявших, программа обеспечила продолжающееся финансирование на основе исправленной, честно нацеленной метрики, а не вводящей в заблуждение разбавленной исходной цифры.

Бизнес-кейс: мотивация, ROI и TCO

Отдача от тщательного измерения принятия функций это основанная на доказательствах инвестиция дорожной карты: организация, способная отличить подлинную, удержанную ценность от движимой любопытством начальной пробы, может уверенно инвестировать дальше в функции, действительно работающие, и перенаправить усилие прочь от тех, что не работают, а не гнаться за вводящим в заблуждение начальным всплеском или преждевременно отказываться от подлинно ценной, но медленно находимой функции.

Полная стоимость владения это в основном инструментация аналитики, обычно уже доступная в большинстве современных платформ продуктовой аналитики, плюс дисциплина явного определения целевых аудиторий и обязательства провести последующие чтения удержания, а не останавливаться на раннем, неполном сигнале. Эта дисциплина стоит мало и предотвращает гораздо более дорогую ошибку неправильного прочтения либо ложного успеха, либо ложного провала.

Антипаттерны и ловушки

• Сообщение только начальной пробы, никогда удержания: не может отличить любопытство или вынужденное воздействие от подлинной, длительной ценности.
• Измерение принятия против неправильного знаменателя: разбавляет или раздувает сигнал для функций, нацеленных на конкретный сегмент аудитории.
• Вывод, что функция провалилась, без исследования конкретной причины низкого принятия: рискует отказом от подлинно ценной, но плохо находимой или плохо приуроченной функции.
• Празднование принятия, раздутого вынужденным воздействием или тёмными паттернами: продуктовый пример манипулирования подстановкой из темы 1.2.
• Никогда не прослеживать движение принятия обратно к конкретным решениям: ограничивает организационное обучение на собственных данных организации.
• Отслеживание использования без какого-либо сочетанного сигнала удовлетворённости: упускает случай, когда высокое использование сосуществует с низкой подлинной ценностью или удовлетворённостью.

Модель зрелости

• Уровень 1, Инициация: Принятие не измеряется, или сообщается только единое, раннее, неудержанное число пробы.
• Уровень 2, Развитие: Некоторое отслеживание принятия существует, но целевые аудитории не определены точно, а удержание измеряется непоследовательно.
• Уровень 3, Стандартизация: И начальная проба, и удержанное принятие последовательно отслеживаются против точно определённой целевой аудитории для каждой крупной функции.
• Уровень 4, Управление: Функции с низким принятием систематически исследуются на конкретную первопричину перед решением о перепроектировании или выводе из эксплуатации; принятие сочетается с данными удовлетворённости.
• Уровень 5, Оркестрация: Данные принятия напрямую и рутинно информируют приоритизацию дорожной карты и решения об инвестициях, а организация может уверенно проследить конкретные движения принятия обратно к конкретным продуктовым и инженерным решениям.

Идеи для обсуждения

1. Какая недавняя функция, где наша начальная проба и удержанное принятие рассказали очень разные истории?
2. Была ли целевая аудитория нашей последней функции определена точно перед запуском, или только после?
3. Какая функция с низким принятием заслуживает честного исследования первопричины, прежде чем мы решим её судьбу?
4. Раздута ли какая-либо часть нашего текущего отчёта принятия вынужденным воздействием?
5. Что раскрыло бы сочетание данных принятия с данными удовлетворённости о нашей наиболее используемой функции?

Основные выводы

• Различайте начальную пробу от устойчивого удержания; всплеск от любопытства или вынужденного воздействия не подлинная, длительная ценность.
• Измеряйте принятие против точно определённой целевой аудитории, а не нерелевантной более широкой пользовательской базы.
• Исследуйте конкретную причину низкого принятия перед выводом, что функция провалилась; несколько очень разных причин требуют очень разных ответов.
• Следите за принятием, раздутым вынужденным воздействием или тёмными паттернами, и сочетайте принятие с сигналом удовлетворённости, чтобы это поймать.
• Прослеживайте движение принятия обратно к конкретным решениям, чтобы превратить данные в подлинное организационное обучение.

Источники и дальнейшее чтение

• Lean Analytics, Алистер Кролл и Бенджамин Йоскович (применимые на практике метрики против тщеславных, применённые к данным продуктового использования).
• Continuous Discovery Habits, Тереза Торрес (связывание продуктовых решений с доказательством клиентского результата, включая данные принятия).
• Hooked: How to Build Habit-Forming Products, Нир Эяль (удержание и формирование привычки, и этическая граница между подлинной ценностью и тёмными паттернами).
• Measure What Matters, Джон Дорр (постановка целей, ориентированная на результат, применимая к установке целей принятия).