7.0 Введение в часть 7: Метрики в эпоху ИИ

Каждая метрика в этой книге до сих пор была построена для мира, где написание кода было дефицитным, трудозатратным ресурсом. Инструменты генеративного ИИ изменили эту предпосылку быстрее, чем метрики большинства организаций успели за этим угнаться. Когда инструмент может произвести правдоподобно выглядящий запрос на слияние за секунды, несколько метрик, которые эта книга охватывает в более ранних частях, счётчики активности наиболее прямо (тема 3.4), и в реальной степени сырая частота развёртывания (тема 2.10) и даже тестовое покрытие (тема 4.2), если преследуемое небрежно, перестают измерять то, что они раньше измеряли. Эта часть существует, потому что программа метрик, не учитывающая явно этот сдвиг, рискует уверенно сообщать числа, тихо ставшие бессмысленными, или, хуже, активно контрпродуктивными.

Четыре темы этой части следуют сознательной дуге. Тема 7.1 называет сдвиг напрямую и объясняет, почему это смена парадигмы, а не постепенная корректировка. Тема 7.2 охватывает то, как фактически измерить, помогает ли разработка с помощью ИИ, используя дисциплину результатов важнее выработки, которую тема 1.3 установила с самого начала этой книги. Тема 7.3 называет конкретные новые риски, которые вносит этот сдвиг: метрики, раздувающиеся без соответствующей ценности, и разбавление качества, опережающее текущую способность отрасли его обнаруживать. Тема 7.4 закрывает часть ответом этой книги на весь сдвиг: сознательный поворот к телеметрии результата как метрикам, важным больше всего, именно потому, что объём выработки, утверждает эта часть на протяжении всего изложения, никогда не был правильной вещью для оптимизации с самого начала, и генеративный ИИ просто сделал эту истину невозможной дальше игнорировать.

Для крупных команд эта часть срочна, а не умозрительна. Корпоративные организации, принимающие ИИ-помощников программирования в масштабе, быстро нуждаются в знании того, означают ли их существующие метрики всё ещё то, что они думают, что они означают; государственные организации, часто двигающиеся более осторожно в принятии ИИ, но сталкивающиеся с тем же лежащим в основе сдвигом инструментария в более широкой отрасли, из которой они набирают и с которой сравнивают, нуждаются в руководстве этой части, чтобы правильно интерпретировать отраслевые ориентиры по мере того, как сами эти ориентиры сдвигаются под тем же давлением.

Темы этой части

7.1 Смена парадигмы генеративного ИИ: Почему это фундаментальное изменение того, что измеряют несколько существующих метрик, а не просто новый инструмент для добавления в набор.
7.2 Измерение разработки программного обеспечения с помощью ИИ: Как измерить, действительно ли помогает помощь ИИ, используя данные результата, а не объём выработки.
7.3 Риски инфляции метрик и разбавления качества: Конкретные новые риски манипулирования и качества, которые вносит этот сдвиг, и как от них защититься.
7.4 Телеметрия результата как новая путеводная звезда: Ответ этой книги на весь сдвиг: сознательный, постоянный поворот к метрикам результата по мере того, как выработка становится дешёвой.

Как эти темы взаимосвязаны

Тема 7.1 устанавливает, почему эта часть вообще существует; тема 7.2 даёт практическое руководство по измерению, которого требует сдвиг; тема 7.3 называет конкретные режимы отказа, от которых организации нужно защититься по мере принятия разработки с помощью ИИ; а тема 7.4 обобщает урок в постоянный принцип, переживающий любой конкретный инструмент или поставщика. Эта часть менее самостоятельное семейство метрик, в том смысле, в каком части 2–6 каждая охватывает отдельную область, и больше объектив, применённый обратно ко всей книге: активность, выработку и даже некоторые метрики результата каждой более ранней темы нужно пересмотреть через вопросы этой части по мере того, как разработка с помощью ИИ становится стандартной практикой, а не исключительной.

Эта часть связывается больше всего напрямую обратно с принципом результатов важнее выработки темы 1.3 и предупреждением темы 3.4 против метрик активности, оба из которых эта часть рассматривает как бывшие правильными всё это время, теперь срочно доказанные технологическим сдвигом, делающим их противоположность, измерение по объёму, активно опасным, а не просто неоптимальным. Она также закладывает основу для практического руководства части 8 по построению программы метрик, поскольку панель, спроектированная до этого сдвига, нуждается в сознательном пересмотре, а не только постепенной корректировке, в свете того, что охватывает эта часть.