1.2 Định luật Goodhart và tâm lý học của chỉ số

Tổng quan và động lực

Định luật Goodhart, đặt theo tên nhà kinh tế Charles Goodhart, thường được phát biểu là: khi một thước đo trở thành mục tiêu, nó không còn là một thước đo tốt. Quan sát gốc năm 1975 của Goodhart nói về chính sách tiền tệ, nhưng cách phát biểu lại sau này của nhà nhân học Marilyn Strathern mới là phiên bản mà các đội phần mềm thực sự cần, và đó là câu mà toàn bộ cuốn sách này được xây trên. Mọi chỉ số ở mọi chủ đề sau, tần suất triển khai, độ bao phủ kiểm thử, điểm hài lòng, đều mang rủi ro này, và mọi khuyến nghị trong cuốn sách này, dưới hình thức nào đó, là một chiến lược để quản lý nó.

Cơ chế không có gì bí ẩn. Con người phản ứng với khuyến khích, và một chỉ số gắn với phần thưởng, một buổi đánh giá hay một danh tiếng là một khuyến khích dù có ai định ý như vậy hay không. Một khi đội biết “tần suất triển khai” đang bị theo dõi, cách rẻ nhất để làm con số đó nhích lên không phải lúc nào cũng là cách được dự định: tách một thay đổi có ý nghĩa thành năm lần triển khai tầm thường, và con số tăng trong khi chẳng có gì thật sự cải thiện. Đây không phải câu chuyện về những kẻ xấu. Những kỹ sư bình thường, có thiện chí, phản ứng đúng như vậy với những khuyến khích thiết kế tồi, vì chính khuyến khích, chứ không phải ý định đằng sau nó, mới là thứ định hình hành vi dưới áp lực.

Với các tổ chức lớn, mức đặt cược cao hơn vì khoảng cách giữa người thiết kế chỉ số và người có hành vi bị nó định hình lớn lên theo quy mô. Một trưởng nhóm xây chỉ số cho đội tám người của chính mình có thể trực tiếp quan sát việc lách và chỉnh hướng nhanh chóng. Một chỉ số triển khai trên một khối sáu trăm người, hoặc công bố trong một báo cáo hiệu suất chính phủ mà cơ quan lập pháp đọc, đi qua nhiều tầng người chưa từng gặp tác giả của nó và có đủ lý do để coi câu chữ của chỉ số là mục tiêu. Sự méo mó cộng dồn theo khoảng cách, đó chính là lý do chủ đề này, chứ không phải một chủ đề sau, là nơi cuốn sách đặt trọng tâm của mình.

Các nguyên tắc chính

Giả định mọi chỉ số có khuyến khích đều sẽ bị lách. Hãy thiết kế để chống lại điều đó từ phiên bản đầu tiên, không đợi đến khi sự méo mó bị phát hiện.
Việc lách là hợp lý, không phải ác ý. Con người đang phản ứng một cách hợp lý với khuyến khích bạn đã dựng; đổ lỗi cho họ chẳng sửa được gì.
Khoảng cách từ chủ sở hữu chỉ số làm tăng rủi ro méo mó. Một con số càng đi xa khỏi người hiểu ý định của nó, nó càng trở thành câu chữ của quy tắc thay vì tinh thần.
Tỷ lệ và khoảng giá trị chống lách tốt hơn số đếm thô. Số đếm thô thưởng cho khối lượng; một tỷ lệ được chọn tốt thưởng cho hành vi thực sự bạn muốn.
Rào chắn không phải tùy chọn đối với một chỉ số có khuyến khích. Mỗi chỉ số bạn gắn phần thưởng đều cần một chỉ số đối trọng đi kèm không được phép suy giảm.

Khuyến nghị

Phân loại mọi chỉ số theo mức phơi nhiễm khuyến khích

Trước khi công bố một chỉ số ở bất cứ đâu nhìn thấy được, hãy hỏi thẳng: phần thưởng, đánh giá, danh tiếng hay ngân sách của ai có phụ thuộc vào việc con số này dịch chuyển theo một hướng nhất định không? Nếu có, đó là một chỉ số có khuyến khích và cần một rào chắn (bên dưới) trước khi đưa vào hoạt động. Nếu không, đó là một chỉ số chẩn đoán (chủ đề 1.1) và mang rủi ro bị lách thấp hơn, dù không bao giờ bằng không, vì người ta vẫn có thể uốn con số mà họ chỉ kỳ vọng sẽ bị đánh giá sau này ngay cả khi hôm nay chưa có khuyến khích chính thức nào gắn vào.

Ưu tiên tỷ lệ, tốc độ và nhóm thuần tập hơn số đếm thô

Một số đếm thô như “số phiếu đã đóng” bị lách bằng cách làm nhiều hơn một việc giá trị thấp. Một tỷ lệ như “phần trăm phiếu được giải quyết ở lần liên hệ đầu tiên” thưởng cho hành vi nền tảng thay vì khối lượng. Một nhóm thuần tập (cohort), nhóm được xác định bởi một điểm xuất phát chung như mọi lần triển khai trong một tuần nhất định, ngăn một xu hướng gần đây xấu khỏi ẩn mình trong một số tổng hợp dài hạn trông đẹp. Bất cứ khi nào bạn chọn giữa một số đếm và một tỷ lệ nắm bắt cùng hành vi nền tảng, hãy chọn tỷ lệ.

Ghép mỗi chỉ số có khuyến khích với một rào chắn

Một chỉ số rào chắn (guardrail) là một chỉ số đối trọng đi kèm không được suy giảm trong khi chỉ số chính cải thiện. Tần suất triển khai ghép với tỷ lệ thay đổi thất bại; thời gian dẫn ghép với tỷ lệ lỗi lọt; thời gian xử lý của một đội hỗ trợ ghép với mức hài lòng của khách hàng. Rào chắn là thứ khiến việc lách rẻ trở nên đắt một cách hữu hình: một đội cải thiện con số có khuyến khích bằng cách làm suy giảm rào chắn sẽ bị bắt bởi sự ghép đôi, không phải do may mắn. Hãy thiết kế rào chắn cùng lúc với chỉ số chính, đừng bao giờ làm như một điều nghĩ sau khi việc lách đã bị phát hiện.

Cảnh giác với bốn kiểu lách kinh điển

Sự méo mó dưới định luật Goodhart có xu hướng rơi vào một số ít hình dạng dễ nhận ra. Lách ngưỡng tối ưu đúng đến mục tiêu rồi dừng (mục tiêu bao phủ kiểm thử 95% sinh ra các kiểm thử tầm thường để đạt đúng 95%, không phải độ bao phủ thật). Lách định nghĩa thay đổi điều được tính thay vì điều xảy ra (định nghĩa lại “đã giải quyết” để loại các trường hợp khó). Lách thời điểm dịch chuyển lúc công việc được ghi nhận thay vì lúc nó xảy ra (gom các lần triển khai ngay trước khi cửa sổ báo cáo đóng). Lách thay thế giao câu chữ của chỉ số trong khi bỏ rơi ý định của nó (tách một thay đổi thật thành nhiều thay đổi tầm thường để thổi phồng tần suất triển khai). Gọi tên các kiểu này cho đội của bạn một cách tường minh làm chúng dễ nhận ra hơn nhiều khi chúng xuất hiện trong các con số của chính bạn.

Tách đo lường khỏi phần thưởng bất cứ khi nào có thể

Rào chắn mạnh nhất là rào chắn mang tính cấu trúc: tách chỉ số khỏi phần thưởng cá nhân. Một chỉ số chỉ dùng để hiểu một hệ thống, không có lương, xếp hạng hay vị thế của ai phụ thuộc vào hướng đi của nó, chịu áp lực lách yếu hơn nhiều so với chỉ số gắn với một đợt đánh giá. Đó là lý do sự phân biệt chẩn đoán-so-với-đánh-giá của chủ đề 1.1 quan trọng đến vậy trong thực tế: giữ một chỉ số ở dạng chẩn đoán thường rẻ hơn và hiệu quả hơn bất kỳ mức thiết kế rào chắn nào áp dụng sau đó.

Đánh đổi: ưu và nhược điểm

Cách tiếp cận	Ưu điểm	Nhược điểm
Số đếm thô	Đơn giản để tính và giải thích	Rất dễ bị lách bằng khối lượng
Tỷ lệ và tốc độ	Thưởng đúng hành vi, chống lách bằng khối lượng	Có thể che giấu vấn đề mẫu số đang co lại
Ghép rào chắn	Khiến việc lách rẻ trở nên đắt một cách hữu hình	Nhân đôi số chỉ số cần định nghĩa, sở hữu và bảo trì
Chỉ để chẩn đoán (không thưởng cá nhân)	Áp lực lách thấp nhất trong mọi lựa chọn	Đòn bẩy động lực trực tiếp yếu hơn để lãnh đạo kéo
Chỉ số được khuyến khích mạnh	Phản ứng hành vi mạnh và nhanh	Rủi ro méo mó cao, thường ngay trong một chu kỳ báo cáo

Mâu thuẫn trung tâm là sức mạnh động lực so với rủi ro méo mó. Những chỉ số làm hành vi chuyển nhanh nhất, gắn trực tiếp một con số với phần thưởng, chính là những chỉ số phơi nhiễm nhất với định luật Goodhart. Hãy giải quyết mâu thuẫn bằng cách dành các khuyến khích mạnh cho những chỉ số kết quả thực sự khó bị lách rẻ, và bằng cách ghép mọi thứ bạn khuyến khích với một rào chắn thiết kế cùng lúc, không phải gắn thêm sau khi sự méo mó đầu tiên xuất hiện.

Câu hỏi để thảo luận với đội của bạn

Với mỗi chỉ số mà phần thưởng của ai đó phụ thuộc vào, cách rẻ nhất để lách nó là gì, và hôm nay chúng ta có bắt được việc lách đó không? Hãy ngồi xuống và cố ý thiết kế cách khai thác cho từng con số có khuyến khích trên bảng điều khiển: một đội hợp lý, có thiện chí sẽ làm con số này trông đẹp mà không làm công việc nền tảng bằng cách nào? Nếu bạn không gọi được tên một cách bắt việc lách đó, bạn chưa sẵn sàng để khuyến khích chỉ số này. Bài tập này khó chịu và chính sự khó chịu đó là điểm mấu chốt.
Chỉ số nào hiện tại của chúng ta đã trôi vào một trong bốn kiểu lách, ngưỡng, định nghĩa, thời điểm hay thay thế, mà không ai chỉ ra? Sự méo mó hiếm khi tự báo trước; nó xuất hiện dưới dạng một con số trông tuyệt vời trong khi các khiếu nại, sự cố hay phản hồi khách hàng nền tảng kể một câu chuyện khác. Hãy đối chiếu bảng điều khiển với từng kiểu theo tên và trung thực về những chỗ khớp.
Mỗi chỉ số có khuyến khích trên bảng điều khiển có một rào chắn ghép đôi không, và rào chắn đó có được thiết kế cùng lúc với chỉ số không? Một rào chắn chỉ được thêm sau khi việc lách bị phát hiện là một sự sửa chữa, không phải một lựa chọn thiết kế, và thường đến quá muộn để ngăn đợt tổn hại đầu tiên với niềm tin. Hãy kiểm toán các chỉ số có khuyến khích của bạn cụ thể về việc ghép đôi này.
Chỉ số này đi bao xa từ người hiểu ý định của nó đến người có hành vi bị nó định hình? Một chỉ số do đội nền tảng xây và được dùng ở cách ba tầng quản lý, hoặc công bố trong một báo cáo công khai cho những người chưa từng thấy việc đo đạc, phơi nhiễm với kiểu lách theo-câu-chữ-không-theo-tinh-thần nhiều hơn hẳn chỉ số mà một đội tự thiết kế cho mình. Hãy vẽ ra khoảng cách đó cho các chỉ số quan trọng nhất của bạn.
Chúng ta đã bao giờ gỡ bỏ khuyến khích khỏi một chỉ số sau khi phát hiện nó bị lách chưa, và việc sửa đó làm chúng ta mất bao nhiêu niềm tin? Các tổ chức thường khám phá định luật Goodhart theo cách khó, sau một quý hoặc một năm hành vi méo mó, và việc sửa tốn kém hơn phòng ngừa. Hãy mang theo một sự cố thật nếu có, và rút ra bài học một cách tường minh thay vì lặng lẽ bước tiếp.
Ở đâu chúng ta đã cho rằng việc lách là vấn đề liêm chính cá nhân thay vì một phản ứng hợp lý với khuyến khích thiết kế tồi? Đổ lỗi cho cá nhân vì phản ứng có thể đoán trước với một khuyến khích do bạn dựng hiếm khi sửa được gì và thường làm tổn hại thêm niềm tin. Hãy định khung lại mọi sự cố lách bạn nhớ được như một vấn đề thiết kế của chỉ số, không phải vấn đề nhân cách của người, và hỏi thiết kế lại thế nào đã có thể ngăn nó.

Góc nhìn theo quy mô

Khởi nghiệp. Với một đội rất nhỏ, rào chắn nhanh nhất là trò chuyện trực tiếp: mọi người đều thấy một con số và lập tức hỏi “khoan, sao cái đó nhảy vậy”. Rủi ro thật là một nhà sáng lập gắn một chỉ số với câu chuyện gọi vốn (tăng trưởng bằng mọi giá) mà không có rào chắn đi kèm, vì nhà đầu tư bên ngoài tạo đúng loại áp lực xa xôi, đặt cược cao khiến việc lách trở nên hấp dẫn.

Doanh nghiệp nhỏ. Các công cụ dùng sẵn thường đi kèm bảng điều khiển mặc định dựng quanh số đếm (phiếu đã đóng, cuộc gọi đã xử lý) vì số đếm dễ tính. Hãy chủ động chuyển chúng sang tỷ lệ bất cứ khi nào công cụ cho phép, và cưỡng lại việc gắn bất kỳ con số đơn lẻ nào với tiền thưởng hay một đợt đánh giá khi chưa xác định rào chắn của nó.

Doanh nghiệp lớn. Khoảng cách là rủi ro chi phối: một chỉ số do đội nền tảng thiết kế để chẩn đoán nội bộ bị nhặt lên ba tầng quản lý sau đó và biến thành một KPI mà không ai trong số người xây nó nhận ra. Hãy quản trị điều này một cách tường minh (chủ đề 1.4): yêu cầu một rào chắn được ghi lại trước khi bất kỳ chỉ số nào được phê duyệt dùng trong đánh giá hiệu suất hay bảng điểm điều hành.

Chính phủ. Các thước đo hiệu suất công bố chịu áp lực lách mạnh nhất trong mọi loại của cuốn sách này, vì một mục tiêu bị trượt có thể mang hệ quả về ngân sách hay chính trị. Hãy kiểm toán chính định nghĩa theo nhịp cố định, không chỉ con số, vì kiểu lách kinh điển của khu vực công là lặng lẽ định nghĩa lại ai được tính (một danh sách chờ được “giải quyết” bằng cách phân loại lại ai đang chờ) thay vì cải thiện dịch vụ nền tảng.

Ví dụ

Doanh nghiệp lớn. Một công ty công nghệ bán lẻ đặt mục tiêu bao phủ kiểm thử tự động 99% trên mọi dịch vụ, gắn với một điểm chất lượng cấp đội dùng trong các buổi rà soát hằng quý. Trong vòng hai quý, độ bao phủ đạt 99%, và tỷ lệ sự cố tăng. Một cuộc kiểm toán phát hiện các đội viết kiểm thử tầm thường, khẳng định rằng một hàm trả về mà không ném lỗi, thuần túy để thỏa công cụ đo bao phủ, trong khi việc kiểm thử trường hợp biên thật sự hoàn toàn không cải thiện. Cách sửa thay mục tiêu bao phủ thô bằng một chỉ số ghép đôi: độ bao phủ cộng với điểm kiểm thử đột biến (chủ đề 4.2) đo xem các kiểm thử có thực sự bắt được lỗi được chèn vào hay không, điều khó bị lách rẻ hơn nhiều.

Chính phủ. Cơ quan bảo hiểm thất nghiệp của một bang bị đo bằng số ngày trung vị đến lần chi trả đầu tiên, công bố cho cơ quan lập pháp của bang. Dưới áp lực phải đạt mục tiêu, một văn phòng khu vực bắt đầu lặng lẽ phân loại lại các hồ sơ khó xử lý hơn thành “chưa đầy đủ” và loại chúng khỏi mẫu số, khiến số trung vị công bố trông tuyệt vời trong khi một số người nộp đơn chờ lâu hơn nhiều so với báo cáo gợi ý. Một cuộc kiểm toán độc lập vào chính định nghĩa, không chỉ con số, đã phát hiện ra thông lệ này. Cách sửa của cơ quan là đóng băng định nghĩa, công bố công khai tiêu chí loại trừ, và thêm một chỉ số rào chắn theo dõi chính tỷ lệ hồ sơ chưa đầy đủ, để một cú tăng vọt trong việc phân loại lại giờ đây sẽ nhìn thấy được thay vì bị che giấu.

Hồ sơ kinh doanh: động lực, ROI và TCO

Lợi tức của việc nghiêm túc với định luật Goodhart là tránh được việc làm lại. Một tổ chức thiết kế rào chắn từ đầu tốn một lượng công sức thêm khiêm tốn để định nghĩa một chỉ số thứ hai bên cạnh chỉ số đầu. Một tổ chức bỏ qua bước này thường tốn trọn một quý hoặc hơn cho nỗ lực đi sai hướng trước khi sự méo mó lộ ra, rồi tới chi phí khó hơn nhiều là gỡ hành vi bị lách và xây lại niềm tin vào con số. Ví dụ bán lẻ ở trên là điển hình: rẻ để phòng ngừa, đắt để sửa chữa.

Tổng chi phí sở hữu của một rào chắn không miễn phí: đó là một chỉ số thứ hai cần định nghĩa, đo đạc và rà soát. Nhưng chi phí đó nhỏ và cố định so với chi phí không giới hạn của một khuyến khích lặng lẽ thưởng cho hành vi sai suốt nhiều tháng trước khi ai nhận ra. Mọi chủ đề sau chủ đề này đều tính sự đánh đổi đó vào, đó là lý do việc ghép rào chắn xuất hiện như một khuyến nghị xuyên suốt phần còn lại của cuốn sách chứ không chỉ ở đây.

Phản mẫu và cạm bẫy

Công bố một chỉ số có khuyến khích mà không có rào chắn: nguyên nhân gốc phổ biến nhất của một bảng điều khiển bị méo trong cuốn sách này.
Coi việc lách là thất bại cá nhân: đổ lỗi cho cá nhân vì một phản ứng hợp lý với khuyến khích thiết kế tồi, và không sửa được gì.
Kiểm toán con số mà không bao giờ kiểm toán định nghĩa: kiểu thất bại kinh điển của khu vực công, nơi chỉ số trông ổn vì ai được tính đã lặng lẽ thay đổi.
Cho rằng một chỉ số từng ổn khi dùng để chẩn đoán sẽ vẫn an toàn khi nó trở thành chỉ số đánh giá: mức phơi nhiễm thay đổi ngay khi phần thưởng gắn vào, dù không có gì khác về chỉ số thay đổi.
Chỉ thiết kế rào chắn sau sự cố lách đầu tiên: một sự sửa chữa đến sau khi tổn hại với niềm tin đã xảy ra.
Bỏ qua khoảng cách: cho rằng một chỉ số sẽ được đọc theo cách người thiết kế định ý khi nó đi xa qua nhiều tầng quản lý hoặc một báo cáo công khai cách xa họ.

Mô hình trưởng thành

Mức 1, Khởi đầu: Các chỉ số được khuyến khích tùy hứng, không cân nhắc rủi ro bị lách, và sự méo mó chỉ bị phát hiện sau khi chất lượng hay niềm tin chịu tổn hại thấy rõ.
Mức 2, Phát triển: Một số đội nhận ra việc lách sau sự việc và điều chỉnh không chính thức, nhưng không có thực hành nhất quán là thiết kế rào chắn từ trước.
Mức 3, Chuẩn hóa: Mỗi chỉ số có khuyến khích trên toàn tổ chức yêu cầu một rào chắn được ghi lại trước khi được phê duyệt, và bốn kiểu lách được gọi tên và được giảng dạy.
Mức 4, Quản lý: Rủi ro bị lách được giám sát chủ động: các định nghĩa được kiểm toán định kỳ, các cặp rào chắn được rà soát xem còn bắt được sự méo mó không, và các sự cố lách được theo dõi như một chỉ số riêng.
Mức 5, Điều phối: Tổ chức coi định luật Goodhart là một ràng buộc thiết kế thường trực, được rà soát tự động mỗi khi một chỉ số mới được đề xuất, và có thể chỉ ra những lần thiết kế lại cụ thể đã ngăn sự méo mó trước khi nó xảy ra thay vì chỉ sau đó.

Ý tưởng để thảo luận

Chỉ số quan trọng nhất trong tổ chức của chúng ta mà hiện chưa có rào chắn là gì?
Chúng ta đã bao giờ thấy một con số cải thiện trong khi thực tế nền tảng tệ đi chưa?
Ai sẽ nhận ra nếu định nghĩa đằng sau một chỉ số công khai của chúng ta lặng lẽ thay đổi?
Trong bốn kiểu lách (ngưỡng, định nghĩa, thời điểm, thay thế), tổ chức của chúng ta dễ mắc kiểu nào nhất?
Chúng ta sẽ mất bao nhiêu niềm tin nếu phát hiện một chỉ số lớn đã bị lách suốt một năm?

Điểm chính cần nhớ

Định luật Goodhart: một thước đo trở thành mục tiêu thì không còn là thước đo tốt, và điều này chi phối mọi chỉ số trong cuốn sách này.
Việc lách là một phản ứng hợp lý với khuyến khích, không phải một khuyết điểm nhân cách; hãy sửa thiết kế khuyến khích, không phải con người.
Ưu tiên tỷ lệ, tốc độ và nhóm thuần tập hơn số đếm thô bất cứ khi nào chúng nắm bắt cùng một hành vi.
Mỗi chỉ số có khuyến khích cần một rào chắn, thiết kế cùng lúc, không phải thêm vào sau khi sự méo mó bị phát hiện.
Cảnh giác với bốn kiểu lách theo tên: lách ngưỡng, định nghĩa, thời điểm và thay thế.
Khoảng cách giữa người thiết kế chỉ số và người có hành vi bị nó định hình làm tăng rủi ro méo mó; hãy giữ khoảng cách đó ngắn khi có thể.

Tài liệu tham khảo và đọc thêm

Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): nguồn gốc của định luật Goodhart.
Strathern, Marilyn, “‘Improving Ratings’: Audit in the British University System” (1997): cách phát biểu lại được trích dẫn rộng rãi, “when a measure becomes a target, it ceases to be a good measure.”
Seeing Like a State, của James C. Scott (cách các chỉ số dễ đọc làm méo các hệ thống mà chúng đo, ở quy mô quốc gia).
The Tyranny of Metrics, của Jerry Z. Muller (một công trình cỡ một cuốn sách về nỗi ám ảnh chỉ số và các chi phí của nó qua nhiều ngành nghề).
Lean Analytics, của Alistair Croll và Benjamin Yoskovitz (chỉ số phù phiếm so với chỉ số hành động được, và thiết kế rào chắn trong bối cảnh khởi nghiệp).
Hướng dẫn của Văn phòng Trách nhiệm Giải trình Chính phủ Hoa Kỳ (GAO) về đo lường hiệu suất và Đạo luật Hiện đại hóa GPRA: báo cáo hiệu suất khu vực công và rủi ro bị lách.