5.3 Метрики клиентских и бизнес-результатов

Обзор и мотивация

Эта тема расширяет объектив за пределы принятия на уровне функции из темы 5.2 к полному диапазону клиентских и бизнес-результатов, которые фактически волнуют организацию: удержанная или выросшая выручка, удовлетворённость и лояльность клиентов, сокращение стоимости, избегнутый риск, и, для организаций государственного сектора, результаты для граждан, которым служит миссия. Это результативные метрики, которые тема 1.3 поместила наверху иерархии вход-выход-результат, и эта тема то место, где эта книга сталкивается с самой трудной, самой честной версией центрального вызова той темы: результаты на этом уровне редко атрибутируемы инженерии в одиночку, и притворство иначе производит именно ту проблему ложной точности, о которой предупреждала тема 3.3 для индивидуальной производительности, теперь масштабированную до уровня вклада всей инженерной организации в бизнес.

Продуктивный ответ на эту трудность атрибуции не в том, чтобы отказаться от связывания инженерной работы с бизнес-результатами, что отказалось бы от всей предпосылки темы 1.3, а в том, чтобы быть честными о силе связи и использовать сходящиеся доказательства, а не заявления ложной точности о прямой причинности. Хорошо управляемая инженерная организация может показать, что её работа коррелирует с, вносит вклад в, и иногда напрямую движет конкретные бизнес-результаты, не заявляя единоличную заслугу за результаты, также зависящие от продаж, маркетинга, рыночных условий и решений продуктовой стратегии, принятых далеко за пределами контроля инженерии.

Для крупных команд дисциплина этой темы определяет, есть ли у инженерии реальное место за стратегическим столом, или к ней относятся как к центру затрат, чья ценность предполагается, а не демонстрируется. Корпоративные организации используют метрики клиентских и бизнес-результатов для обоснования продолжающейся и расширенной инженерной инвестиции против конкурирующих заявок на капитал; государственные организации используют эквивалентные метрики результатов для граждан, чтобы продемонстрировать, что общественные расходы на технологии произвели предполагаемую общественную ценность, что всё больше стандарт, по которому надзорные органы судят программы цифрового правительства.

Ключевые принципы

• Результаты редко атрибутируемы инженерии в одиночку. Используйте сходящиеся доказательства и честный язык корреляции, а не ложные заявления единоличной причинности.
• Связывайте инженерные метрики с метриками результатов явно, через задокументированную причинно-следственную цепочку, а не просто сопоставление на одной панели.
• У государственных и движимых миссией организаций есть метрики результатов за пределами выручки. Время ожидания гражданина, доля ошибок и завершение услуги важны так же, как финансовые меры, или больше.
• Метрика бизнес-результата медленная и зашумлённая. Применяйте статистическую грамотность темы 1.6 здесь строго, больше, чем почти где-либо ещё в этой книге.
• Именно здесь доверие инженерии у нетехнических заинтересованных сторон выигрывается или теряется. Говорите на языке результатов, который уже использует ваша аудитория.

Рекомендации

Постройте явную, задокументированную причинно-следственную цепочку от инженерных метрик к бизнес-результатам

Вместо представления метрик поставки и бизнес-результатов бок о бок и позволения аудитории вывести связь, постройте дерево метрик (тема 1.3) явно: эта конкретная инженерная инвестиция сократила время выполнения, что обеспечило более быстрый ответ на конкретную потребность клиента, что коррелировало с конкретным улучшением удержания. Документируйте каждое звено в этой цепочке собственным доказательством, так чтобы общее заявление было цепочкой защитимых отдельных звеньев, а не единым, неподдержанным скачком от «мы улучшили частоту развёртывания» к «выручка выросла».

Используйте честный язык корреляции и активно ищите искажающие факторы

Следуя руководству темы 1.6 напрямую, сопротивляйтесь заявлению, что инженерное изменение вызвало улучшение бизнес-результата, не рассмотрев, что ещё изменилось в то же время: изменение цен, оступание конкурента, сезонный эффект, маркетинговая кампания. Формулируйте находки как корреляции, поддержанные правдоподобной причинно-следственной цепочкой, и будьте явны о том, какие искажающие факторы вы рассмотрели и исключили, а не представляйте единое сравнение до-и-после как доказательство.

Явно отслеживайте результаты для граждан и миссии для государственной и движимой миссией работы

Для государственных и некоммерческих организаций эквивалент «выручки» часто результат для гражданина или бенефициара: сокращённое время ожидания услуги, увеличенная доля успешного завершения процесса подачи заявления, сокращённая доля ошибок в расчёте пособия. Отслеживайте их с той же строгостью, что организации частного сектора применяют к метрикам выручки, и сопротивляйтесь искушению отступить к метрикам только поставки (отгруженные функции, по графику) просто потому, что их легче измерить и они менее подвержены трудности атрибуции.

Сочетайте количественные данные результата с качественным клиентским сигналом

Одни числа, особенно медленно движущиеся, зашумлённые числа бизнес-результата, могут упустить контекст, который качественный сигнал захватывает напрямую: обратную связь из интервью с клиентами, темы заявок поддержки или находки прямого пользовательского исследования. Используйте качественный сигнал, чтобы объяснить, почему сдвинулась количественная метрика результата, или чтобы поймать возникающую проблему до того, как она вообще проявится в запаздывающем числе, относясь к обоим как к дополняющим доказательствам, а не относясь к количественным данным как к изначально более авторитетным.

Представляйте данные результата на собственном словаре аудитории

При представлении нетехническим заинтересованным сторонам, руководителям, членам совета, законодательным надзорным органам, начинайте с метрики результата на языке, который они уже используют (удержанная выручка, избегнутая стоимость, сокращённое время ожидания гражданина), и используйте инженерные метрики только как поддерживающее доказательство того, как этот результат был достигнут, а не как заголовок. Это прямое применение принципа взвешивания результата из темы 1.3 к конкретному навыку коммуникации с заинтересованными сторонами.

Компромиссы: плюсы и минусы

Подход	Плюсы	Минусы
Заявление прямой причинности от инженерных метрик к бизнес-результатам	Простое, убедительное повествование	Обычно преувеличивает уверенность; уязвимо к разоблачению скептической аудиторией
Честная, задокументированная цепочкой корреляция	Защитима, строит долгосрочное доверие	Сложнее представить; требует больше дисциплины сбора доказательств
Отчётность только о поставке (полное избегание заявлений о результате)	Просто, избегает риска атрибуции	Не демонстрирует фактическую бизнес-ценность инженерии; слаба в разговорах об инвестициях
Сочетанное количественное и качественное доказательство результата	Богаче, более объяснительно, ловит то, что упускают одни числа	Требует больше усилий для сбора и синтеза обоих типов доказательств

Центральное напряжение: убедительное повествование против защитимой честности. Простое, прямое заявление причинности, «мы отгрузили эту функцию, и выручка выросла на 20%», гораздо более убедительная история, чем тщательно оговорённая, многозвенная причинно-следственная цепочка с признанными искажающими факторами, но она также гораздо более вероятно неправильна и, если оспорена скептической заинтересованной стороной, повредит доверию инженерной организации для будущих заявлений. Разрешайте напряжение, инвестируя в более трудную, честную версию: задокументированная причинно-следственная цепочка с признанными искажающими факторами всё ещё убедительная история, и у неё есть решающее преимущество быть той, что выживает под проверкой.

Вопросы для обсуждения в команде

1. Для нашего самого недавнего заявления, что инженерное изменение улучшило бизнес-результат, могли бы мы задокументировать полную причинно-следственную цепочку, или мы представили прямой скачок от одного к другому? Выберите реальное недавнее заявление и попытайтесь заполнить каждое звено явно; пробелы в цепочке стоит честно назвать.

2. Какие искажающие факторы мы рассмотрели и исключили, прежде чем сделать это заявление? Если честный ответ «мы на самом деле не проверяли», это пробел, стоящий закрытия перед тем, как следующее такое заявление будет сделано скептической аудитории.

3. Для нашей работы в государственном секторе или движимой миссией, отслеживаем ли мы эквивалентный результат для гражданина или бенефициара с той же строгостью, что организация частного сектора применяет к выручке? Если ваша организация по умолчанию использует метрики только поставки, потому что они проще, обсудите, что потребовалось бы, чтобы вместо этого построить более трудную метрику результата.

4. Какой качественный сигнал, интервью с клиентами, темы поддержки, мог бы объяснить недавнее движение в количественной метрике результата, которое само число не объясняет? Ищите конкретный случай, где качественное доказательство добавило бы реальную объяснительную ценность количественному тренду, который вы уже наблюдали.

5. Когда мы представляем нетехническим заинтересованным сторонам, начинаем ли мы с метрики результата на их словаре, или с инженерной метрики, которую они должны перевести сами? Пересмотрите недавнюю презентацию и проверьте, что шло первым и что было сформулировано как заголовок.

6. Оспаривали ли нас когда-либо по заявлению о результате и обнаруживали, что мы не могли защитить его под проверкой? Если это случалось, обсудите, какое доказательство сделало бы заявление защитимым, и примените этот урок вперёд к тому, как строятся и документируются будущие заявления.

Отраслевой взгляд

Стартап. Атрибуция результата часто яснее в этом масштабе, поскольку маленькая компания может более напрямую проследить конкретную функцию до конкретного движения метрики с меньшей организационной сложностью, разбавляющей связь. Даже так, сопротивляйтесь искушению заявлять прямую причинность, не рассмотрев хотя бы кратко очевидные искажающие факторы, такие как сезонность или одновременный маркетинговый толчок.

Малый бизнес. Сосредоточьтесь на том, какая бы метрика результата ни отражала наиболее прямо выживание и рост, выручку, повторных клиентов, сокращение стоимости, и связывайте инженерную работу с ней через простое, честное, качественное рассуждение, а не сложный статистический анализ, выполнять который строго у вас вероятно нет мощности.

Корпорация. Построение задокументированной причинно-следственной цепочки от инженерных метрик к бизнес-результатам подлинно трудно в этом масштабе, учитывая организационную сложность и много искажающих факторов, но именно здесь инвестиция окупается больше всего, поскольку доверие инженерии в разговорах о распределении капитала напрямую зависит от такого рода защитимого доказательства.

Государство. Метрики результатов для граждан и миссии всё больше то, что ожидают надзорные органы, а программа, способная сообщать только метрики поставки (отгруженные модули, по графику), приглашает именно тот скептицизм, для предотвращения которого построена эта тема. Инвестируйте в явное отслеживание результатов для граждан, даже там, где их труднее измерить, чем простой счёт поставки, поскольку эта инвестиция напрямую защищает будущее финансирование и доверие.

Примеры

Корпорация. Руководство инженерии компании программного обеспечения как услуги хотело обосновать продолжающуюся инвестицию в работу над надёжностью платформы скептической финансовой команде, сфокусированной на скорости функций. Вместо заявления прямой причинности от улучшений надёжности к выручке команда построила задокументированную цепочку: инвестиция в надёжность сократила сообщаемые клиентами инциденты простоя, инциденты простоя сильно коррелировали с повышенным риском оттока в следующие тридцать дней согласно собственной модели оттока компании, а когорта клиентов, испытавших меньше инцидентов после инвестиции, показала измеримо более низкий отток, чем сравнимая когорта до инвестиции, с сезонностью и изменениями цен явно проверенными и исключёнными как искажающие факторы. Эта тщательно задокументированная, честно оговорённая цепочка оказалась более убедительной для скептической финансовой команды, чем более ранее, более размашистое заявление прямой причинности предыдущего года.

Государство. Национальной программе цифровой идентификации нужно было продемонстрировать ценность законодательному комитету, скептически настроенному к продолжающейся стоимости программы. Вместо сообщения метрик поставки (отгруженные модули, по графику) программа сообщила метрики результата для граждан напрямую: медианное время для завершения проверки идентичности упало с нескольких дней до менее десяти минут, а доля самостоятельного завершения, без необходимости личного визита в офис, существенно выросла. Эти метрики результата, в сочетании с качественными свидетельствами от граждан, пользовавшихся услугой, оказались гораздо более убедительными для комитета, чем сфокусированная на поставке отчётность, которую программа использовала в предыдущих бюджетных циклах, и напрямую поддержали одобрение продолжающегося финансирования.

Бизнес-кейс: мотивация, ROI и TCO

Отдача от тщательного, честного измерения клиентских и бизнес-результатов это доверие инженерии в стратегических разговорах: организация, способная защитимо связать свою работу с реальными результатами, с соответствующей честностью об ограничениях атрибуции, зарабатывает более сильную позицию в будущих решениях об инвестициях, чем та, что либо преувеличивает свой кейс (и попадается), либо полностью избегает заявлений о результатах (и выглядит как центр затрат без демонстрируемой бизнес-ценности).

Полная стоимость владения это аналитическое усилие по построению и документированию причинно-следственных цепочек, проверке искажающих факторов и сочетанию количественного доказательства с качественным, что подлинно больше работы, чем простое, неподдержанное заявление корреляции. Эта инвестиция стоит делать именно потому, что альтернатива, преувеличенное заявление, позже проваливающееся под проверкой, стоит гораздо больше в долгосрочном доверии, чем стоит дополнительная строгость заранее.

Антипаттерны и ловушки

• Заявление прямой причинности без проверки искажающих факторов: преувеличивает уверенность и рискует ущербом доверию, если оспорено.
• Представление инженерных метрик и метрик результата бок о бок без задокументированной причинно-следственной цепочки: приглашает аудиторию вывести связь, которая фактически может не держаться.
• Отступление к метрикам только поставки для государственной или движимой миссией работы, потому что их легче измерить: не демонстрирует результаты, которые фактически волнуют заинтересованные стороны.
• Отношение к количественным данным результата как к изначально более авторитетным, чем качественное доказательство: упускает контекст и объяснительную силу, которую одни числа не могут предоставить.
• Представление нетехническим заинтересованным сторонам на инженерном словаре, а не словаре результата: ослабляет убедительную силу подлинно сильного кейса.
• Полное избегание заявлений о результате, чтобы обойти трудность атрибуции: оставляет фактическую бизнес-ценность инженерии недемонстрированной и недооценённой.

Модель зрелости

• Уровень 1, Инициация: Инженерия сообщает только метрики поставки и активности; никакая связь с бизнес- или гражданскими результатами не предпринимается.
• Уровень 2, Развитие: Некоторые заявления о результатах делаются, но без задокументированной причинно-следственной цепочки или рассмотрения искажающих факторов.
• Уровень 3, Стандартизация: Заявления о результатах построены на задокументированных, многозвенных причинно-следственных цепочках с явно рассмотренными искажающими факторами по всей организации.
• Уровень 4, Управление: Количественное и качественное доказательство результата сочетаются систематически, а данные результата последовательно представлены на словаре заинтересованных сторон.
• Уровень 5, Оркестрация: Инженерия имеет продемонстрированный, доверенный послужной список защитимых заявлений о результатах, выдержавших проверку, а данные результата напрямую и рутинно информируют стратегические решения об инвестициях на высшем уровне организации.

Идеи для обсуждения

1. Каково наше сильнейшее текущее доказательство, связывающее инженерную работу с реальным бизнес-результатом или результатом для гражданина?
2. Какой искажающий фактор мы никогда фактически не проверяли перед тем, как сделать заявление о результате?
3. Отслеживаем ли мы результаты для граждан или миссии с той же строгостью, что финансовые, если это применимо к нам?
4. Какое качественное доказательство укрепило бы нашу лучшую текущую количественную историю результата?
5. Как изменилась бы наша последняя крупная презентация для заинтересованных сторон, если бы мы начали с результатов вместо метрик поставки?

Основные выводы

• Результаты редко атрибутируемы инженерии в одиночку; используйте сходящиеся доказательства и честный язык корреляции, а не ложные заявления единоличной причинности.
• Постройте явную, задокументированную причинно-следственную цепочку от инженерных метрик к бизнес-результатам, проверяя искажающие факторы на каждом звене.
• Отслеживайте результаты для граждан и миссии для государственной и движимой миссией работы с той же строгостью, что частные организации применяют к выручке.
• Сочетайте количественное и качественное доказательство; одни числа часто упускают контекст, объясняющий, почему сдвинулся результат.
• Представляйте данные результата на собственном словаре аудитории, начиная с результатов, а не инженерных метрик, для нетехнических заинтересованных сторон.

Источники и дальнейшее чтение

• Continuous Discovery Habits, Тереза Торрес (связывание продуктовых и инженерных решений с доказательством клиентского результата).
• Lean Analytics, Алистер Кролл и Бенджамин Йоскович (метрики результата и формулировка Единственной Метрики, Которая Важна).
• How to Measure Anything, Дуглас У. Хаббард (количественное измерение бизнес-ценности и честная обработка неопределённости атрибуции).
• Руководство Счётной палаты США (GAO) по измерению производительности и Закон о модернизации GPRA: стандарты отчётности государственного сектора, основанные на результатах.