3.7 Опросы опыта разработчика и метрики DevEx

Обзор и мотивация

Эта тема закрывает часть 3 практической механикой, делающей заслуживающими доверия самоотчётные данные каждой предыдущей темы: как спроектировать опрос опыта разработчика (DevEx), производящий подлинный сигнал, а не конкурс популярности, и как сочетать данные опроса с объективным инструментированием в набор метрик, на основе которого организация может реально действовать. Каждая тема в этой части полагается на некоторую форму самоотчёта, удовлетворённость и благополучие (тема 3.2) наиболее напрямую, но результативность, коммуникация и поток тоже все выигрывают от хорошо спроектированного опроса, а плохо спроектированный опрос подрывает ценность их всех сразу.

Опыт разработчика (DevEx) это более широкое более недавнее формулирование, возникшее вокруг той же основной идеи, которую формализовала SPACE: фактический повседневный опыт инженеров в выполнении работы, трение, инструментарий, когнитивная нагрузка, циклы обратной связи, сам по себе измеримая улучшаемая вещь, а не просто мягкая культурная забота. Исследование DevEx, особенно фреймворк, предложенный Аби Нодой, Маргарет-Энн Стори, Николь Форсгрен и Микаэлой Грайлер, организует этот опыт вокруг трёх измерений: циклы обратной связи, когнитивная нагрузка и состояние потока, которые тесно соответствуют и расширяют измерения SPACE, уже глубоко покрытые этой частью.

Для крупных команд разница между опросом, производящим заслуживающий доверия сигнал, и тем, что производит шум или, хуже, активно вводящие в заблуждение данные, полностью в деталях проектирования, которые покрывает эта тема: формулировка вопросов, выбор шкалы ответов, выборка и периодичность, и как результаты сообщаются обратно респондентам. Корпоративные и государственные организации, проводящие эти опросы в масштабе, среди тысяч инженеров, не могут позволить себе ошибиться здесь, потому что дефектный инструмент в этом масштабе производит уверенно неверные выводы, формирующие реальные решения о ресурсах.

Ключевые принципы

• Качество проектирования опроса определяет заслуживающую доверия природу данных гораздо сильнее, чем длина или изощрённость опроса. Короткий хорошо спроектированный опрос побеждает длинный плохо спроектированный каждый раз.
• Частота ответов сама по себе сигнал, а не просто метрика сбора данных; снижающаяся частота часто указывает на подрывающееся доверие к процессу.
• Сочетайте данные опроса с объективным инструментированием везде, где возможно, следуя принципу инструментирования из темы 1.5; используйте данные опроса конкретно для того, что объективные данные не могут захватить.
• Замыкайте цикл с респондентами. Опрос, никогда видимо не приводящий ни к какому изменению, обучает людей перестать относиться к нему серьёзно.
• DevEx и SPACE взаимодополняющие формулирования одной и той же лежащей в основе заботы, а не конкурирующие фреймворки, между которыми нужно выбирать.

Рекомендации

Проектируйте вопросы для ясности и избегайте наводящих или двуствольных формулировок

Пишите вопросы опроса, спрашивающие ровно об одной вещи, простым языком, не встраивая предположение в сам вопрос. «Насколько вы удовлетворены нашим инструментарием и документацией?» двуствольный вопрос, смешивающий два потенциально очень разных ответа в один запутывающий ответ. Разделите его на два отдельных вопроса. Избегайте наводящих формулировок вроде «насколько наша недавняя инвестиция в инструментарий улучшила ваш опыт?», которые предполагают, что улучшение произошло, вместо того чтобы нейтрально спросить, произошло ли оно.

Используйте последовательные шкалы ответов и пилотируйте новые вопросы перед широким развёртыванием

Стандартизируйте на последовательной шкале ответов (пяти- или семибалльная шкала Лайкерта распространена и хорошо изучена) по всему инструменту опроса, так чтобы ответы были сравнимы между вопросами и во времени. Пилотируйте любой новый вопрос с маленькой группой, прежде чем развернуть его по всей организации, чтобы поймать неоднозначную формулировку или неожиданную интерпретацию, прежде чем она подорвёт полный набор данных.

Относитесь к частоте ответов как к самостоятельному диагностическому сигналу

Отслеживайте частоту ответов опроса по последовательным циклам и относитесь к снижающейся частоте как к предупреждающему знаку, достойному прямого исследования, похожему на сигнал доверия, обсуждённый в теме 3.2. Падающая частота ответов часто указывает на усталость от опросов, подрывающееся доверие к тому, что результаты приводят к действию, или растущее подозрение, что анонимность на самом деле не защищена, любое из чего заслуживает прямого исследования, а не отмахивания как простого неудобства сбора данных.

Сочетайте данные опроса с объективным инструментированием DevEx

Сочетайте субъективные ответы опроса с объективными сигналами там, где они существуют: время сборки, время выполнения набора тестов, время настройки локальной среды разработки и данные времени потока и прерываний из темы 3.6. Ответ опроса «наша сборка слишком медленная» становится гораздо более действенным в паре с фактическим измеренным трендом времени сборки, и сочетание улавливает случаи, когда восприятие и объективная реальность расходятся в любом направлении, что само по себе достойно исследования.

Замыкайте цикл: публикуйте результаты и видимое последующее действие

После каждого цикла опроса публикуйте честную сводку результатов, включая результаты, которые руководство могло бы предпочесть не выделять, и публично обязуйтесь хотя бы к одному конкретному действию, предпринятому в ответ. Опрос, не производящий видимой последующей реакции, учит респондентов, что их честный вклад не имеет значения, что ухудшает и частоту ответов, и честность ответов в каждом последующем цикле. Эта дисциплина замыкания цикла часто единственный самый большой определяющий фактор того, остаётся ли программа опросов DevEx полезной на протяжении многих лет или медленно вырождается в упражнение по галочкам.

Компромиссы: плюсы и минусы

Подход	Плюсы	Минусы
Длинный всеобъемлющий опрос	Богатые детальные данные по многим темам	Более низкая частота ответов, большая усталость, больше места для плохо спроектированных вопросов
Короткий сфокусированный опрос	Более высокая частота ответов, легче хорошо спроектировать	Меньше охвата; может упустить возникающую проблему вне выбранного фокуса
Только данные опроса	Напрямую захватывает субъективный опыт	Уязвим к предвзятости и не может быть проверен против объективной реальности
Опрос в сочетании с объективным инструментированием	Улавливает расхождение между восприятием и реальностью, более действенный	Требует больше усилий на интеграцию данных

Центральное напряжение: охват против качества ответов. Более длинный более всеобъемлющий опрос захватывает больше территории, но ухудшает частоту ответов и увеличивает риск того, что плохо спроектированные вопросы проскользнут незамеченными; короткий сфокусированный опрос получает ответы более высокого качества, но рискует упустить что-то важное вне своего охвата. Разрешайте это напряжение, удерживая основной повторяющийся опрос коротким и хорошо пилотированным и используя случайные ясно помеченные глубокие опросы для конкретных тем, нуждающихся в более детальном исследовании, вместо того чтобы пытаться покрыть всё в каждом цикле.

Вопросы для обсуждения в команде

1. Пилотировали ли мы когда-либо новый вопрос опроса с маленькой группой, прежде чем развернуть его широко, или новые вопросы идут прямо в полный опрос? Пропуск шага пилотирования распространённый способ, которым неоднозначные или двуствольные вопросы в итоге подрывают полный набор данных, прежде чем кто-либо заметит, что формулировка была неясной.

2. Что происходило с нашей частотой ответов за последние несколько циклов опроса, и исследовали ли мы спад, если он произошёл? Относитесь к этому тренду как к подлинному сигналу, достойному обсуждения, а не просто неудобству сбора данных, которое нужно отметить мимоходом.

3. Сочетаем ли мы данные опроса с каким-либо объективным инструментированием, или субъективное восприятие стоит полностью само по себе в нашей отчётности? Определите хотя бы одно место, где сочетание вопроса опроса с объективными данными, временем сборки, частотой развёртывания, могло бы сделать результат более действенным.

4. Какое конкретное действие мы предприняли как прямой видимый результат нашего последнего цикла опроса, и сообщили ли мы об этом действии обратно респондентам? Если честный ответ «ничего видимого», этот пробел вероятно уже подрывает доверие к инструменту, независимо от того, проявилось ли это уже в частоте ответов.

5. Являются ли какие-либо из наших текущих вопросов опроса наводящими или двуствольными, и заметили бы мы это, если бы они таковыми были? Просмотрите ваши фактические текущие вопросы против этого конкретного теста как групповое упражнение.

6. Как наши данные опроса DevEx или SPACE сравниваются с объективными сигналами, когда эти два, кажется, расходятся, и что это расхождение нам говорит? Случай, когда восприятие и объективные данные расходятся, часто более диагностически ценен, чем случай, когда они согласуются, поскольку сам разрыв информативен.

Отраслевой взгляд

Стартап. Простой очень короткий пульс-опрос, иногда всего один-два вопроса, проводимый неформально и часто, обычно достаточен в этом масштабе, и строгость формального проектирования инструмента имеет меньшее значение, когда основатель всё ещё может иметь прямой разговор почти со всеми регулярно.

Малый бизнес. Бесплатный или недорогой инструмент опроса с коротким адаптированным набором вопросов, проводимый ежеквартально, захватывает большую часть ценности здесь без необходимости в выделенной экспертизе проектирования опросов. Приоритизируйте дисциплину замыкания цикла над изощрённостью; даже маленькая команда выигрывает от видимого действия на основе того, что раскрывает короткий опрос.

Корпорация. Качество проектирования опроса имеет огромное значение в масштабе, потому что дефектный вопрос или нарушенная гарантия анонимности подрывает данные по тысячам респондентов сразу, а результирующие уверенно неверные выводы могут неправильно направить значительные решения о ресурсах. Инвестируйте в настоящую экспертизу проектирования опросов, или сотрудничайте с установленной платформой измерения DevEx, а не стройте произвольный инструмент внутренне.

Государство. Частота ответов и доверие особенно хрупки в организациях, где персонал уже может опасаться того, как данные используются внутренне. Чрезмерно инвестируйте в прозрачные гарантии анонимности и видимые последующие действия конкретно для построения доверия, делающего достижимой честную частоту ответов в контексте, где скептицизм относительно использования данных уже может быть выше, чем в типичной обстановке частного сектора.

Примеры

Корпорация. Первоначальный опрос DevEx компании-разработчика программного обеспечения включал вопрос, просящий инженеров оценить «удовлетворённость инструментарием и процессом», двуствольный вопрос, смешивающий две очень разные заботы. Когда вернулась посредственная объединённая оценка, руководство не могло сказать, была ли проблема в инструментарии, процессе или обоих, и начальные усилия по исправлению нацелились не на ту область на два квартала. Разделение вопроса в последующем пересмотре раскрыло, что оценка инструментария на самом деле была сильной, а оценка процесса слабой, перенаправив инвестиции на упрощение громоздкого процесса утверждения релиза, что произвело измеримое улучшение удовлетворённости в течение одного квартала, в отличие от более раннего усилия, сосредоточенного на инструментарии, показавшего мало эффекта.

Государство. Первый опрос DevEx национального цифрового агентства имел частоту ответов ниже 30%, и внутренний обзор обнаружил, что персонал широко верил, как оказалось, правильно, что отдельные менеджеры могли видеть, кто ответил, а кто нет, даже несмотря на то что агрегированные результаты предполагались анонимными. Агентство перешло на подлинно независимую стороннюю платформу опросов с проверенной анонимностью, явно и неоднократно сообщило об изменении и опубликовало ясную сводку результатов предыдущего цикла наряду с тремя конкретными действиями, предпринятыми в ответ. Частота ответов выросла до более чем 70% в течение двух циклов, и руководство агентства конкретно приписало сочетание подлинной анонимности и видимого последующего действия как причину восстановления доверия к инструменту.

Бизнес-кейс: мотивация, ROI и TCO

Отдача от хорошо спроектированной программы опросов DevEx: заслуживающие доверия действенные данные об измерении, опыте разработчика, иначе остающемся невидимым, пока он не проявится как текучесть кадров или замедление доставки. Пример компании-разработчика программного обеспечения выше показывает стоимость неправильного проектирования: два квартала неправильно направленных усилий по исправлению из-за того, что единственный плохо сформулированный вопрос смешал две различные заботы.

Полная стоимость владения включает инструментарий опроса, дисциплину проектирования и пилотирования, которую рекомендует эта тема, и постоянную приверженность замыканию цикла видимым последующим действием каждый цикл. Эта приверженность, больше, чем любая стоимость инструментария, определяет, остаётся ли программа опросов полезной годами или вырождается в упражнение по галочкам, со временем стабильно производящее менее заслуживающие доверия данные.

Антипаттерны и ловушки

• Двуствольные или наводящие вопросы: смешивают различные заботы или искажают ответы и часто остаются незамеченными без пилотирования.
• Пропуск шага пилотирования для новых вопросов: позволяет неоднозначной формулировке подорвать полномасштабный набор данных.
• Игнорирование снижающейся частоты ответов: упускает важный самостоятельный сигнал доверия.
• Никогда не замыкание цикла видимым последующим действием: учит респондентов, что честный вклад не имеет значения, ухудшая качество будущих данных.
• Отношение к данным опроса как к достаточным самим по себе, без объективного подтверждения: упускает случаи, когда восприятие и реальность расходятся в любом направлении.
• Слабые или непроверяемые гарантии анонимности: единственный самый быстрый способ обрушить и частоту ответов, и честность ответов.

Модель зрелости

• Уровень 1, Инициация: Вопросы опроса произвольны и непилотированы, частота ответов не отслеживается как сигнал, а результаты редко приводят к видимому действию.
• Уровень 2, Развитие: Существует некоторая дисциплина проектирования опроса, но пилотирование непоследовательно, и цикл надёжно не замыкается с респондентами.
• Уровень 3, Стандартизация: Вопросы пилотируются перед развёртыванием, частота ответов отслеживается и исследуется при снижении, а результаты последовательно публикуются хотя бы с одним конкретным последующим действием.
• Уровень 4, Управление: Данные опроса систематически сочетаются с объективным инструментированием, а расхождение между ними активно исследуется как диагностический сигнал.
• Уровень 5, Оркестрация: У организации есть зрелая заслуживающая доверия многолетняя программа опросов с последовательно высокой частотой ответов, демонстрируемым видимым действием от каждого цикла и послужным списком поимки и исправления плохо спроектированных вопросов до того, как они подорвут данные.

Идеи для обсуждения

1. Путал ли или вводил ли в заблуждение респондента когда-либо какой-либо текущий вопрос опроса в нашем инструменте?
2. Каким было последнее конкретное действие, которое мы предприняли как прямой результат данных опроса?
3. Как бы мы узнали, если бы наша гарантия анонимности была нарушена, даже случайно?
4. Где наши данные опроса согласуются или расходятся с объективным инструментированием, и что это нам говорит?
5. Что потребовалось бы, чтобы удвоить нашу текущую частоту ответов?

Основные выводы

• Качество проектирования опроса, ясные однотемные беспристрастные вопросы, важнее длины или изощрённости.
• Частота ответов сама по себе сигнал; исследуйте спад, а не относитесь к нему как к простому неудобству.
• Сочетайте данные опроса с объективным инструментированием, чтобы поймать расхождение между восприятием и реальностью.
• Замыкайте цикл: публикуйте результаты и видимое последующее действие каждый цикл, или доверие к инструменту будет подрываться.
• DevEx и SPACE взаимодополняющие, а не конкурирующие формулирования одной и той же лежащей в основе заботы об опыте разработчика.

Источники и дальнейшее чтение

• Noda, Abi, Margaret-Anne Storey, Nicole Forsgren, and Michaela Greiler, “DevEx: What Actually Drives Productivity,” ACM Queue (2023).
• Forsgren, Nicole, Margaret-Anne Storey, Chandra Maddila, Thomas Zimmermann, Brian Houck, and Jenna Butler, “The SPACE of Developer Productivity,” ACM Queue (2021).
• Ask Your Developer: How to Harness the Power of Software Developers and Win in the 21st Century, Джефф Лоусон.
• Designing and Conducting Survey Research: A Comprehensive Guide, Луис М. Реа и Ричард А. Паркер.