8.4 Модель зрелости для программ инженерных метрик

Обзор и мотивация

Каждая тема в частях 1–7 этой книги заканчивается собственной пятиуровневой моделью зрелости, ограниченной конкретным семейством метрик этой темы. Эта тема делает нечто другое: она отступает назад и спрашивает, как выглядит зрелость для программы метрик в целом, организационной способности, производящей, управляющей и действующей на основе всех этих отдельных метрик вместе. Организация может находиться на Уровне 4 зрелости индивидуальной метрики DORA, всё ещё находясь на Уровне 1 общей зрелости программы, если, например, у неё отличная инструментация, но нет управления (тема 1.4), или отличные отдельные метрики, но движимое страхом развёртывание (тема 8.3), разрушившее лежащие в основе данные независимо от того, насколько хорошо была спроектирована каждая метрика.

Модель этой темы построена вокруг пяти измерений, пересекающих каждое индивидуальное семейство метрик, которое охватывает эта книга: управление и владение (тема 1.4), качество инструментации (тема 1.5), баланс результата против выработки (тема 1.3, тема 7.4), культурное доверие (тема 8.3) и постоянное улучшение (дисциплина вывода из эксплуатации и пересмотра, которую тема 1.1 установила в самом начале этой книги). Общая зрелость программы организации реалистично это минимум, а не среднее, по этим пяти измерениям, поскольку серьёзная слабость в любом одном, особенно культурном доверии, может подорвать ценность силы во всех остальных, именно как напрямую утверждала тема 8.3.

Для крупных команд эта консолидированная модель даёт руководству единый, честный инструмент для организационной самооценки, отдельный от и дополняющий проверки зрелости по темам, которые эта книга предоставляет на протяжении всего изложения. Корпоративным организациям, сравнивающим зрелость метрик по бизнес-единицам, и государственным организациям, сообщающим зрелость программы надзорным органам, обе выигрывают от этой единой, сквозной оценки, а не нуждаются в синтезе сорока пяти отдельных показаний зрелости на уровне темы в согласованную общую картину самостоятельно.

Ключевые принципы

• Зрелость программы это минимум по её измерениям, а не среднее. Серьёзная слабость в культурном доверии подрывает силу везде ещё.
• Пять сквозных измерений это управление, инструментация, баланс результата, культурное доверие и постоянное улучшение. Каждое измерение сводит вместе нити из многих отдельных тем.
• Эта модель дополняет, а не заменяет, индивидуальные модели зрелости уровня темы. Используйте обе вместе для полной картины.
• Самооценка должна быть честной и конкретной, а не стремящейся. Оценивайте, где вы фактически находитесь, используя конкретное доказательство, а не где вы намереваетесь быть.
• Движение между уровнями требует сознательной инвестиции, а не просто прохождения времени; зрелость не накапливается автоматически.

Рекомендации

Оценивайте каждое из пяти измерений независимо, используя конкретное доказательство

Для управления проверьте, есть ли у каждой значимой метрики именованный владелец и задокументированный устав (тема 1.4). Для инструментации проверьте, приходят ли метрики из автоматизированных источников, а не самостоятельного сообщения, где это возможно (тема 1.5). Для баланса результата вычислите фактическое соотношение взвешенных по результату и взвешенных по выработке метрик на ваших основных панелях (тема 7.4). Для культурного доверия честно оцените, включала ли когда-либо история вашего развёртывания плохо обработанное, карательное использование метрики и как это было адресовано (тема 8.3). Для постоянного улучшения проверьте, имеет ли ваша организация задокументированную историю вывода из эксплуатации метрик, переставших оправдывать себя (тема 1.1). Оценивайте каждое измерение независимо перед их объединением.

Берите минимум по измерениям как ваш честный общий счёт

Сопротивляйтесь искушению усреднить ваши пять оценок измерений в единый, более льстивый составной показатель. Программа с отличной инструментацией (Уровень 4), но слабым культурным доверием (Уровень 1), не является, в каком-либо значимом смысле, программой Уровня 2 или 3; слабое измерение активно подрывает ценность сильных, поскольку не заслуживающие доверия данные, разрушенные движимым страхом манипулированием, не спасаются тем, что они были собраны с отличной инструментацией. Честно сообщайте минимум, даже если это производит менее льстивую общую картину, чем произвело бы среднее.

Используйте эту модель наряду с, а не вместо, моделей уровня темы

Эта консолидированная модель отвечает на «насколько зрела наша общая программа»; индивидуальные модели уровня темы по частям 2–8 отвечают на «насколько зрела наша практика для этой конкретной метрики». Используйте обе вместе: консолидированную модель, чтобы приоритизировать, какое сквозное измерение больше всего нуждается в инвестиции, и модели уровня темы, чтобы определить, какие конкретные семейства метрик больше всего нуждаются во внимании внутри этого измерения.

Пересматривайте оценку с фиксированной каденцией, а не только когда побуждает кризис

Следуя последовательной дисциплине управления этой книги (тема 1.4), пересматривайте зрелость программы с регулярной каденцией, ежегодно распространено, а не только после того, как кризис (обнаруженный инцидент манипулирования, повреждающий доверие публичный отчёт) вынуждает этот вопрос. Программа, рассматривающая собственную зрелость только реактивно, упускает шанс поймать и адресовать ослабляющееся измерение до того, как оно произведёт реальный, дорогой инцидент.

Относитесь к низкой оценке честно как к отправной точке для инвестиции, а не провальной оценке

Следуя диагностической, а не оценочной формулировке, которую тема 1.1 установила для всей этой книги, используйте низкую оценку зрелости, на любом измерении, как отправную точку для сознательного плана инвестиции (дорожная карта принятия темы 8.5 прямой следующий шаг), а не как приговор, о котором нужно сожалеть. Большинство организаций, честно оценённых, найдут реальные слабости где-то в этой модели; продуктивный ответ это целевая инвестиция, а не защитная реакция на оценку.

Компромиссы: плюсы и минусы

Подход	Плюсы	Минусы
Усреднение пяти оценок измерений	Производит единое, простое, более льстивое число	Скрывает критическую слабость в одном измерении, подрывающую остальные
Взятие минимума по измерениям	Честно, применимо на практике, правильно определяет реальное ограничение	Может ощущаться обескураживающе, если одно измерение значительно отстаёт от других
Использование только моделей уровня темы	Детально, руководство, специфичное для метрики	Упускает сквозное представление об общем здоровье программы
Использование только этой консолидированной модели	Просто, на высоком уровне	Упускает конкретную, применимую на практике деталь, которую предоставляют модели уровня темы

Центральное напряжение: простота против честности, отражающее предостережение темы 5.5 против ложно точного единого числа. Усреднённая оценка проще и комфортнее сообщать, но она активно скрывает реальное ограничение общей заслуживаемости доверия и ценности вашей программы. Разрешайте напряжение в пользу честности: сообщайте минимум и используйте и эту консолидированную модель, и индивидуальные модели уровня темы вместе для полной, точной, применимой на практике картины.

Вопросы для обсуждения в команде

1. Честно и независимо оценённое, какой уровень фактически показывает каждое из наших пяти измерений, управление, инструментация, баланс результата, культурное доверие и постоянное улучшение? Пройдитесь по каждому измерению явно, используя конкретное доказательство, а не впечатление, перед их объединением в общую оценку.

2. Какое наше самое слабое измерение, и совпадает ли это с нашей интуицией об общем здоровье нашей программы, или это раскрывает что-то, что мы ранее прямо не называли? Низкая оценка конкретно в культурном доверии, например, могла бы подорвать уверенность в данных, в остальном выглядящих технически отлично.

3. Усредняли ли мы наши сильные и слабые стороны в более льстивую общую картину, а не честно сообщали наше самое слабое измерение как реальное ограничение? Будьте честны о том, как ваша организация ранее говорила о собственной зрелости метрик.

4. Когда мы в последний раз формально пересматривали общую зрелость нашей программы, и было ли это вызвано кризисом или сознательной, регулярной каденцией? Если только вызвано кризисом, обсудите, как выглядела бы регулярная каденция оценки на будущее.

5. Как бы фактически выглядела целевая инвестиция в наше самое слабое измерение, конкретно, на следующий квартал? Двигайтесь напрямую от оценки к действию, связывая диагностику этой темы с дорожной картой принятия темы 8.5.

6. Как бы наша самооценка сравнилась с честным внешним пересмотром кем-то вне нашей организации? Этот вопрос проверяет, может ли сама ваша внутренняя оценка быть подвержена некоторому тому же оптимистичному искажению, против которого эта книга предупреждала на протяжении всего изложения, стоит периодически проверять с подлинно внешней перспективой.

Отраслевой взгляд

Стартап. Формальная оценка пяти измерений, вероятно, не нужна в очень маленьком масштабе, где неформальная осведомлённость обычно покрывает большую часть того, что раскрыла бы эта модель. Привычка, стоящая принятия рано, это просто честность о культурном доверии конкретно, поскольку ранняя культура метрик молодой компании закладывает основу, становящуюся гораздо труднее изменить, как только организация значительно выросла.

Малый бизнес. Простой, честный, неформальный проход по пяти измерениям раз в год, даже без формальной оценки, захватывает большую часть ценности этой темы без необходимости в структурированном процессе оценки в этом масштабе.

Корпорация. Эта консолидированная модель особенно ценна для честного сравнения зрелости метрик по многим бизнес-единицам, поскольку сравнение по темам по десяткам команд было бы громоздким. Используйте её, чтобы приоритизировать общеорганизационную инвестицию в то измерение, показывающее наиболее широко распространённую слабость по подразделениям.

Государство. Задокументированная, честная самооценка зрелости, использующая эту консолидированную модель, подлинно полезный артефакт для демонстрации строгости программы надзорному органу, при условии, что оценка проведена честно, а не стремящееся. Рассмотрите периодический внешний пересмотр самой самооценки, особенно для измерения культурного доверия, труднее всего точно оцениваемого с чисто внутренней перспективы.

Примеры

Корпорация. Первоначальная самооценка компании логистических технологий оценила её измерение инструментации на Уровне 4 (автоматизированное, всеобъемлющее получение данных из конвейеров и систем), но её измерение культурного доверия на Уровне 1, вслед за неадресованным инцидентом неправильного использования метрики двумя годами ранее, никогда прямо не признанным или не исправленным (напрямую отражая пример государства из темы 8.3). Первоначальный инстинкт руководства был усреднить их в респектабельную общую картину Уровня 2 или 3; более честное применение оценки на основе минимума этой темы правильно определило культурное доверие как реальное ограничение ценности всей программы, поскольку даже отличная инструментация производила данные, которым инженеры, осведомлённые о прошлом инциденте, всё ещё не полностью доверяли или честно не сообщали в них. Целевая инвестиция конкретно в исправление культурного доверия, следуя руководству темы 8.3 напрямую, была приоритизирована над дальнейшей инвестицией в инструментацию как прямой результат этой честной, основанной на минимуме оценки.

Государство. Национальное статистическое агентство, проводя свою первую формальную самооценку зрелости, используя эту консолидированную модель как часть более широкого обзора технологического управления, обнаружило, что его измерение управления оценивается хорошо (ясное владение, задокументированные уставы), но его измерение баланса результата оценивается плохо, с подавляющим большинством отслеживаемых метрик, основанных на выработке и активности, несмотря на то, что аргумент части 7 о взвешивании по результату был хорошо интеллектуально понят внутри технического руководства агентства. Эта честная, конкретная находка, а не смутное общее ощущение, что «нам следует больше измерять результаты», дала последующему плану инвестиции агентства (тема 8.5) конкретную, основанную на доказательстве отправную точку, а последующая отчётность надзорному совету агентства конкретно процитировала эту оценку зрелости как основу для перенаправленной стратегии инвестиции в метрики.

Бизнес-кейс: мотивация, ROI и TCO

Отдача от честной, основанной на минимуме самооценки зрелости это правильное определение фактического ограничения ценности программы метрик, а не дальнейшая инвестиция в уже сильное измерение, пока слабое продолжает подрывать заслуживаемость доверия всей программы, именно тот паттерн, который иллюстрируют оба примера выше. Этот эффект нацеливания первичная ценность модели: она направляет ограниченную инвестицию улучшения туда, где она подлинно сдвинет общую зрелость программы, а не туда, где инвестиция случайно легче или привычнее.

Полная стоимость владения это само усилие оценки, скромное и периодическое, взвешенное против риска продолжения инвестиции в уже сильное измерение, пока неадресованное слабое, особенно культурное доверие, продолжает тихо разрушать ценность всего остального, что построила программа.

Антипаттерны и ловушки

• Усреднение оценок измерений в более льстивый составной показатель: скрывает реальное ограничение общей ценности программы.
• Оценка только стремящаяся, основанная на заявленной политике, а не фактической практике: производит неточную, чрезмерно оптимистичную картину.
• Использование этой консолидированной модели как замены, а не дополнения, моделям уровня темы: теряет конкретную, применимую на практике деталь, которую предоставляют эти индивидуальные модели.
• Пересмотр только после того, как кризис вынуждает этот вопрос: упускает шанс поймать и проактивно адресовать ослабляющееся измерение.
• Отношение к низкой оценке как к провальной оценке, а не отправной точке инвестиции: приглашает защитную реакцию, а не продуктивный, диагностический ответ, который эта книга рекомендует на протяжении всего изложения.
• Никогда не искать честную внешнюю перспективу на самооценку: рискует тем, что то же оптимистичное искажение, против которого предупреждает эта книга на протяжении всего изложения, повлияет на саму оценку.

Модель зрелости

• Уровень 1, Инициация: Никакой формальной сквозной оценки не существует; индивидуальные семейства метрик могут оцениваться независимо, но общее здоровье программы не рассмотрено.
• Уровень 2, Развитие: Некоторая неформальная осведомлённость об общих сильных и слабых сторонах программы существует, но никакая структурированная оценка пяти измерений не была проведена.
• Уровень 3, Стандартизация: Структурированная, честная, основанная на минимуме оценка пяти измерений проводится, используя конкретное доказательство, по всей организации.
• Уровень 4, Управление: Оценка повторяется с регулярной каденцией, а её находки напрямую и последовательно информируют приоритеты целевой инвестиции.
• Уровень 5, Оркестрация: Организация имеет продемонстрированную, устойчивую практику честной самооценки, включая периодический внешний пересмотр, и может указать на конкретные решения об инвестиции, напрямую движимые находками оценки.

Идеи для обсуждения

1. Какова наша честная, основанная на доказательстве оценка по каждому из пяти измерений прямо сейчас?
2. Какое измерение наше реальное ограничение, и совпадает ли это с нашей интуицией?
3. Усредняли ли мы когда-либо наши оценки в более льстивую картину, чем показал бы минимум?
4. Когда мы в последний раз формально пересматривали оценку, и было ли это проактивно или движимо кризисом?
5. Что, вероятно, раскрыл бы честный внешний пересмотр нашей самооценки?

Основные выводы

• Зрелость программы охватывает пять сквозных измерений: управление, инструментацию, баланс результата, культурное доверие и постоянное улучшение.
• Общая зрелость это минимум по измерениям, а не среднее; слабость в культурном доверии подрывает силу везде ещё.
• Используйте эту консолидированную модель наряду с, а не вместо, индивидуальных моделей зрелости уровня темы по всей книге.
• Пересматривайте с регулярной каденцией, а не ждите, пока кризис вынудит этот вопрос.
• Относитесь к низкой оценке как к честной отправной точке инвестиции, а не провальной оценке, следуя диагностической формулировке этой книги на протяжении всего изложения.

Источники и дальнейшее чтение

• Capability Maturity Model Integration (CMMI), Software Engineering Institute (общая методология модели зрелости, из которой структурно вдохновляется подход этой темы).
• Accelerate: The Science of Lean Software and DevOps, Николь Форсгрен, Джез Хамбл и Джин Ким (исследовательская основа для индивидуальных моделей зрелости уровня темы, которые сводит вместе эта консолидированная модель).
• Measuring and Managing Performance in Organizations, Роберт Д. Остин (организационная оценка здоровья и дисфункции программы метрик).
• The Fifth Discipline: The Art and Practice of the Learning Organization, Питер М. Сенге (организационная самооценка на уровне систем и постоянное улучшение).