7.0

7.0 第7部分导言:人工智能时代的指标

到目前为止,本书中的每一项指标,都是为一个编写代码是稀缺、费力资源的世界而建立的。生成式人工智能工具改变这一前提的速度,快过了大多数组织指标追赶的速度。当一个工具能在几秒钟内产出一份看起来言之成理的拉取请求时,本书前面几部分所涵盖的几项指标,最直接的是活动计数(主题 3.4),在真实的程度上还有原始部署频率(主题 2.10),甚至如果不加小心地追求,测试覆盖率(主题 4.2),就不再衡量它们曾经衡量的东西了。这一部分的存在,正是因为一套没有明确应对这种转变的指标项目,冒着自信地报告一些已经悄悄变得毫无意义、甚至更糟、积极起反作用的数字的风险。

这一部分的四个主题遵循一条刻意设计的脉络。主题 7.1 直接点名这种转变,解释为什么它是一次范式变革,而不是一次渐进式调整。主题 7.2 讲的是如何真正衡量人工智能辅助开发是否真的在帮忙,使用本书从一开始就确立的主题 1.3 结果优先于产出的纪律。主题 7.3 点名这种转变所引入的具体新风险:没有相应价值支撑却在膨胀的指标,以及超出业界当前检测能力的质量稀释。主题 7.4 以本书对整个这场转变的回答为这一部分收尾:刻意转向把结果遥测当作最重要的指标,恰恰因为,正如这一部分自始至终所论证的,产出量从来就不是正确的优化对象,而生成式人工智能只是让这个真相再也无法被忽视了。

对大团队而言,这一部分是紧迫的,而不是投机性的。大规模采用人工智能编程助手的企业组织,需要迅速知道它们现有的指标是否依然意味着它们曾经以为的那个意思;在人工智能采用上往往行动更谨慎、但仍然面临着它们所招募人才、所对标基准的更广泛行业中同一种底层工具转变的政府组织,需要这一部分的指导,才能在行业基准本身在同样的压力下发生变化时正确地解读它们。

本部分各主题

  • 7.1 生成式人工智能范式转变: 为什么这是对若干现有指标所衡量内容的一次根本性改变,而不只是给工具箱添加了一件新工具。
  • 7.2 衡量人工智能辅助的软件开发: 如何衡量人工智能辅助是否真正有帮助,使用结果数据而不是产出量。
  • 7.3 指标膨胀与质量稀释风险: 这种转变所引入的具体新操纵和质量风险,以及如何防范它们。
  • 7.4 结果遥测作为新的北极星: 本书对整场转变的回答:随着产出变得廉价,刻意、永久地转向结果指标。

这些主题如何相互关联

主题 7.1 确立了这一部分为何存在;主题 7.2 给出了这场转变所要求的实用测量指导;主题 7.3 点名了一个组织在采用人工智能辅助开发时需要防范的具体故障模式;主题 7.4 把这个教训归纳成一条超越任何具体工具或供应商的永久原则。与第2部分到第6部分各自涵盖一个独立领域的方式不同,这一部分与其说是一个独立的指标家族,不如说是一面回望整本书的透镜:随着人工智能辅助开发从例外变成标准做法,前面每个主题的活动、产出,乃至一些结果指标,都需要通过这一部分的问题被重新审视。

这一部分最直接地连接回主题 1.3 的结果优先于产出原则,以及主题 3.4 对活动指标的警告,这一部分认为这两者自始至终都是正确的,现在被一场技术转变紧迫地证明了这一点,这场转变让它们的对立面,也就是按数量衡量,从仅仅是次优变成了真正危险。它也为第8部分关于建立一套指标项目的实用指导做了铺垫,因为一份在这场转变之前设计的仪表盘,需要根据这一部分所涵盖的内容,进行刻意的重新考量,而不只是渐进式的调整。