9.3 チェックリスト

すぐに使えるクイックリファレンスのチェックリスト。一つをあなた自身のプロセスにコピーして適応させてください。重要なのはカバレッジであり、正確な言い回しではありません。

新しい指標のレビューのチェックリスト(ダッシュボードにどんな指標を追加する前にも)

• その指標が情報を与える決定に名前がついている(トピック1.1)
• その指標が診断的あるいは評価的として書面で分類されている(トピック1.1)
• インセンティブがかかっているなら、同時にガードレール指標が定義されている(トピック1.2)
• ゲーミングのベクトルに名前がつけられている:合理的なチームはどうやって本物の成果を改善することなくこの数字を良く見せるだろうか(トピック1.2)
• その指標がインプット、アウトプット、あるいは成果として分類されている(トピック1.3)
• その指標に名前のついた所有者と文書化された情報源のシステムと収集方法がある(トピック1.4、トピック1.5)
• 基盤となるデータが歪んでいる場合、その指標が平均ではなく中央値あるいはパーセンタイルを使う(トピック1.6)
• その指標が個人の評価に決して使われないか、その使用が別途明示的に開示されている(トピック1.1)

ダッシュボード開始のチェックリスト

• ダッシュボードに一つの名前のついた特定の聴衆と決定がある(トピック8.1)
• インセンティブのかかったすべての指標がそのガードレールと同じビューに現れる(トピック1.2、トピック8.1)
• 述べられ見える例外が文書化されていない限り軸がゼロから始まる(トピック1.6)
• 単一のスナップショットではなく時間をかけたトレンドが示されている(トピック1.6)
• ダッシュボードに名前のついた所有者とレビューのペースがある(トピック1.4)
• 関連する場合、ダッシュボードが何のためのものではないかを宣言する見える声明がある(トピック1.1)
• 壊れたパイプラインが静かに最新のものとして表示されないよう、データの情報源に基本的なヘルスチェックがある(トピック1.5)

指標プログラム展開のチェックリスト

• 目的と明示的な非目標が、反応的にではなく開始前に伝えられている(トピック8.3)
• 測定される人々が指標の選択に巻き込まれた(トピック8.3)
• プログラムは、コミットされた最小限の証明期間とともに診断専用のモードで始まる(トピック8.3)
• 将来のどんな誤用のインシデントにも速く見える対応のプロトコルが存在する(トピック8.3)
• 義務づけられたものではなく本物に志願した試験チームが選ばれている(トピック8.5)
• 計測が始まる前に基礎的なガバナンス(憲章、所有権、診断ポリシー)が整っている(トピック1.4、トピック8.5)

インシデントと事後検証のチェックリスト

• 事後検証は個人ではなくシステムを調査する(トピック6.2)
• 重大度は文書化された標準化された基準に対して分類された(トピック6.2)
• 検知、確認、解決の時間が別々に記録されている(トピック6.2)
• アクションアイテムは具体的で、割り当てられ、完了まで追跡されている(トピック6.2)
• 事後検証は個人の結果への恐れなしに共有されている(トピック6.2、トピック8.3)

AI時代の指標監査のチェックリスト

• 各ダッシュボードの指標が「AI支援を大いに使っているが以前より多くの本物の価値を生み出していないチームはここで改善された読み取り値を示すだろうか」に対してテストされている(トピック7.1)
• AI支援のデプロイ頻度あるいはコミットの量のどんな上昇と並んでも変更失敗率と欠陥率が見直されている(トピック7.1)
• AI生成のコードの量が変化するにつれてレビューの容量と深さが監視されている(トピック7.1)
• 歴史的な欠陥率の関係が依然として成り立っているかどうかを仮定するのではなくテストするために、エスケープした欠陥がAI支援のレベルによってタグ付けされている(トピック7.1、トピック7.3)
• 「正しく見える」欠陥に抵抗する検出方法(ミューテーションテスト、プロパティベースのテスト)がAIを多用するコードパスについて整っている(トピック7.3)
• 指標憲章が、検討されないまま漂流させるのではなく、この変化のために明示的に見直され更新されている(トピック1.4、トピック7.1)

指標プログラム監査のチェックリスト(年次)

• すべての指標が依然として名前のついた所有者を持っている(トピック1.4)
• 少なくとも一つの指標が、もはやその価値に見合わなくなったなら前のサイクルで廃止されている(トピック1.1)
• 5次元の成熟度の評価が正直に実施され、平均ではなく最小値で採点されている(トピック8.4)
• どの指標も、明示的で開示された決定なしに診断的な使用から評価的な使用に漂流していない(トピック1.1)
• 定義が漂流について実際の計測に対して抜き打ちで確認されている(トピック1.2、トピック2.4、トピック5.1、トピック6.2、トピック6.4)
• 主要なダッシュボードの成果対アウトプットの比率が計算され見直されている(トピック7.4)