9.3 清单

可直接使用的快速参考清单。把一份复制到你自己的流程中并加以调整；重点是覆盖面，而不是措辞完全一致。

新指标评审清单（在把任何指标加入仪表盘之前）

• 这项指标有一个具名的、它所服务的决策（主题 1.1）
• 这项指标被书面地分类为诊断性或评价性（主题 1.1）
• 如果被激励，一项护栏指标被同时定义出来（主题 1.2）
• 操纵向量已经被点名：一个理性的团队会如何在不改善真实结果的情况下让这个数字看起来不错（主题 1.2）
• 这项指标被分类为输入、产出，还是结果（主题 1.3）
• 这项指标有一位具名的所有者，以及一个有文档记录的来源系统和收集方法（主题 1.4、主题 1.5）
• 如果底层数据存在偏态，这项指标将使用中位数或百分位数，而不是均值（主题 1.6）
• 这项指标绝不用于个人评估，或者这种用途被单独、明确地披露（主题 1.1）

仪表盘上线清单

• 这份仪表盘拥有一个具名、具体的受众和决策（主题 8.1）
• 每一项被激励的指标都与它的护栏出现在同一个视图上（主题 1.2、主题 8.1）
• 坐标轴从零开始，除非有一个明确、可见的例外被记录下来（主题 1.6）
• 显示的是随时间变化的趋势，而不是单一快照（主题 1.6）
• 这份仪表盘拥有一位具名的所有者和一个审阅节奏（主题 1.4）
• 一份可见的声明，如果相关，说明这份仪表盘不用于什么（主题 1.1）
• 数据来源有基本的健康检查，这样一条损坏的流水线不会悄悄地被呈现为最新数据（主题 1.5）

指标项目推行清单

• 目的和明确的非目标，在推出之前而不是被动地被传达（主题 8.3）
• 被测量的人参与了指标的选择（主题 8.3）
• 这套项目以纯诊断模式启动，配以一段承诺的最短证明期（主题 8.3）
• 存在一套快速、可见的响应协议，用于应对任何未来的滥用事件（主题 8.3）
• 已经选定了一个真正自愿、而不是被强制指派的试点团队（主题 8.5）
• 基础性的治理（章程、所有权、诊断性政策）在埋点开始之前已经就位（主题 1.4、主题 8.5）

事件与事后分析清单

• 这次事后分析调查的是系统，而不是个人（主题 6.2）
• 严重程度是对照有文档记录、标准化的标准进行分类的（主题 6.2）
• 检测、确认和解决时间被分别记录（主题 6.2）
• 行动项是具体的、有人负责的，并被跟踪到完成（主题 6.2）
• 这份事后分析在不担心个人后果的情况下被分享（主题 6.2、主题 8.3）

人工智能时代指标审计清单

• 仪表盘上的每一项指标，都被这样检验过：“一个大量使用人工智能辅助、却没有产生更多真实价值的团队，在这里会显示出改善的读数吗”（主题 7.1）
• 变更失败率和缺陷率，与人工智能辅助部署频率或提交量的任何上升一并被审阅（主题 7.1）
• 评审产能和深度，随着人工智能生成代码量的变化被监控（主题 7.1）
• 逃逸缺陷按人工智能辅助程度被打标签，以检验、而不是假定历史性的缺陷率关系是否依然成立（主题 7.1、主题 7.3）
• 能抵御”看起来正确”缺陷的检测方法（变异测试、基于属性的测试），已经为大量使用人工智能的代码路径就位（主题 7.3）
• 指标章程已经因应这场转变被明确地重新审视和更新，而不是被任由不加审视地漂移（主题 1.4、主题 7.1）

指标项目审计清单（每年）

• 每一项指标依然拥有一位具名的所有者（主题 1.4）
• 如果一项指标在上一个周期里不再物有所值，至少已经有一项指标被退役（主题 1.1）
• 五维度成熟度评估已经被诚实地进行，按最小值而不是平均值打分（主题 8.4）
• 没有任何指标在没有一个明确、被披露的决定的情况下，从诊断性用途漂移到了评价性用途（主题 1.1）
• 定义已经被对照实际的埋点做了抽查，检查是否存在漂移（主题 1.2、主题 2.4、主题 5.1、主题 6.2、主题 6.4）
• 主要仪表盘上的结果与产出比例已经被计算并审阅过（主题 7.4）