1.2 गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान

अवलोकन और प्रेरणा

गुडहार्ट का नियम, जिसका नाम अर्थशास्त्री चार्ल्स गुडहार्ट के नाम पर रखा गया है, आमतौर पर इस तरह बताया जाता है: जब एक मापदंड लक्ष्य बन जाता है, तो वह अच्छा मापदंड बनना बंद कर देता है। गुडहार्ट का मूल 1975 का अवलोकन मौद्रिक नीति के बारे में था, लेकिन मानवविज्ञानी मैरिलिन स्ट्रैदर्न का बाद का पुनर्कथन वह संस्करण है जिसकी सॉफ़्टवेयर टीमों को वास्तव में ज़रूरत है, और यही वह वाक्य है जिस पर यह पूरी पुस्तक बनी है। बाद के हर विषय का हर मेट्रिक, डिप्लॉयमेंट फ़्रीक्वेंसी, टेस्ट कवरेज, संतुष्टि स्कोर, यह जोखिम रखता है, और इस पुस्तक की हर सिफ़ारिश, किसी न किसी रूप में, इसे प्रबंधित करने की एक रणनीति है।

तंत्र रहस्यमय नहीं है। लोग प्रोत्साहनों पर प्रतिक्रिया देते हैं, और एक इनाम, समीक्षा, या प्रतिष्ठा से जुड़ा मेट्रिक एक प्रोत्साहन है चाहे किसी ने भी इसे उस तरह इरादा न किया हो। एक बार जब किसी टीम को पता चल जाता है कि “डिप्लॉयमेंट फ़्रीक्वेंसी” देखी जा रही है, तो उस संख्या को हिलाने का सबसे सस्ता तरीक़ा हमेशा इच्छित तरीक़ा नहीं होता: एक सार्थक परिवर्तन को पाँच तुच्छ डिप्लॉय में बाँट दें, और संख्या ऊपर चली जाती है जबकि कुछ भी वास्तविक नहीं सुधरा। यह बुरे लोगों की कहानी नहीं है। सामान्य, अच्छे इरादों वाले इंजीनियर बुरी तरह डिज़ाइन किए गए प्रोत्साहनों पर ठीक इसी तरह प्रतिक्रिया देते हैं, क्योंकि प्रोत्साहन, उसके पीछे का इरादा नहीं, वह चीज़ है जो दबाव में व्यवहार को आकार देती है।

बड़े संगठनों के लिए दांव ऊँचे हैं क्योंकि पैमाने के साथ मेट्रिक के डिज़ाइनर और उस व्यक्ति के बीच की दूरी बढ़ती है जिसका व्यवहार यह आकार देता है। एक टीम लीड जो अपनी आठ-व्यक्ति टीम के लिए एक मेट्रिक बनाता है, वह सीधे चालाकी के लिए सतर्क रह सकता है और जल्दी दिशा सुधार सकता है। छह-सौ-व्यक्ति डिवीज़न भर में लागू किया गया, या एक विधानमंडल द्वारा पढ़ी जाने वाली सरकारी प्रदर्शन रिपोर्ट में प्रकाशित किया गया मेट्रिक, उन लोगों की परतों से गुज़रता है जो कभी उसके लेखक से नहीं मिले और जिनके पास मेट्रिक की अक्षरशः बात को ही लक्ष्य मानने का पूरा कारण है। विकृति दूरी के साथ बढ़ती जाती है, और यही ठीक कारण है कि यह विषय, कोई बाद का विषय नहीं, वह जगह है जहाँ पुस्तक अपना गुरुत्व केंद्र रखती है।

प्रमुख सिद्धांत

मान लें कि हर प्रोत्साहित मेट्रिक के साथ चालाकी की जाएगी। पहले संस्करण से ही इसके विरुद्ध डिज़ाइन करें, विकृति खोजे जाने के बाद नहीं।
चालाकी तर्कसंगत है, दुर्भावनापूर्ण नहीं। लोग आपके बनाए प्रोत्साहन पर समझदारी से प्रतिक्रिया दे रहे हैं; इसके लिए उन्हें दोष देने से कुछ ठीक नहीं होता।
मेट्रिक के स्वामी से दूरी विकृति के जोखिम को बढ़ाती है। एक संख्या जितनी दूर उस व्यक्ति से यात्रा करती है जो उसके इरादे को समझता है, वह उतनी ही अधिक नियम की भावना की बजाय अक्षरशः बात बन जाती है।
अनुपात और सीमाएँ कच्ची गिनतियों से बेहतर चालाकी का प्रतिरोध करते हैं। एक कच्ची गिनती मात्रा को इनाम देती है; एक अच्छी तरह चुना गया अनुपात उस वास्तविक व्यवहार को इनाम देता है जो आप चाहते हैं।
एक प्रोत्साहित मेट्रिक पर गार्डरेल वैकल्पिक नहीं है। हर मेट्रिक जिससे आप इनाम जोड़ते हैं, उसे एक युग्मित प्रति-मेट्रिक की आवश्यकता होती है जो बिगड़ना नहीं चाहिए।

सिफ़ारिशें

हर मेट्रिक को प्रोत्साहन जोखिम के अनुसार वर्गीकृत करें

किसी भी दिखने वाली जगह पर मेट्रिक प्रकाशित करने से पहले, सीधे पूछें: क्या किसी का इनाम, समीक्षा, प्रतिष्ठा, या बजट इस संख्या के किसी विशेष दिशा में जाने पर निर्भर करता है? यदि हाँ, तो यह एक प्रोत्साहित मेट्रिक है और लाइव होने से पहले उसे एक गार्डरेल (नीचे) चाहिए। यदि नहीं, तो यह एक डायग्नोस्टिक मेट्रिक है (विषय 1.1) और कम चालाकी जोखिम रखता है, यद्यपि कभी शून्य नहीं, क्योंकि लोग फिर भी उस संख्या को आकार दे सकते हैं जिस पर उन्हें केवल उम्मीद है कि बाद में उन्हें आँका जाएगा भले ही आज कोई औपचारिक प्रोत्साहन जुड़ा न हो।

कच्ची गिनतियों की बजाय अनुपात, दरें, और कोहॉर्ट्स को प्राथमिकता दें

“बंद हुए टिकट” जैसी एक कच्ची गिनती को कम-मूल्य वाली किसी चीज़ को अधिक करके चालाकी की जा सकती है। “पहले संपर्क में हल किए गए टिकटों का प्रतिशत” जैसा एक अनुपात मात्रा की बजाय अंतर्निहित व्यवहार को इनाम देता है। एक कोहॉर्ट, एक साझा शुरुआती बिंदु द्वारा परिभाषित एक समूह जैसे किसी दिए गए सप्ताह के सभी डिप्लॉय, एक बुरी हालिया प्रवृत्ति को एक चापलूसी करने वाले दीर्घकालिक समुच्चय के भीतर छिपने से रोकता है। जहाँ भी आप एक गिनती और एक दर के बीच चुन रहे हों जो एक ही अंतर्निहित व्यवहार को पकड़ती हो, दर को चुनें।

हर प्रोत्साहित मेट्रिक को एक गार्डरेल के साथ युग्मित करें

एक गार्डरेल मेट्रिक एक युग्मित प्रति-मेट्रिक है जो प्राथमिक मेट्रिक के सुधरते समय बिगड़ना नहीं चाहिए। डिप्लॉयमेंट फ़्रीक्वेंसी चेंज फ़ेल्योर रेट के साथ जुड़ती है; लीड टाइम डिफ़ेक्ट एस्केप रेट के साथ जुड़ता है; एक सपोर्ट टीम का हैंडल टाइम ग्राहक संतुष्टि के साथ जुड़ता है। गार्डरेल वह चीज़ है जो सस्ती चालाकी को दृश्यमान रूप से महँगा बनाती है: एक टीम जो गार्डरेल को बिगाड़कर प्रोत्साहित संख्या को सुधारती है, वह युग्मन द्वारा पकड़ी जाती है, संयोग से नहीं। गार्डरेल को प्राथमिक मेट्रिक के साथ ही डिज़ाइन करें, चालाकी पहले से खोजे जाने के बाद बाद के विचार के रूप में कभी नहीं।

चार क्लासिक चालाकी पैटर्न के लिए सतर्क रहें

गुडहार्ट के नियम के तहत विकृति आमतौर पर पहचान योग्य आकारों की एक छोटी संख्या में गिरती है। थ्रेशोल्ड चालाकी ठीक लक्ष्य तक अनुकूलन करती है और रुक जाती है (95% टेस्ट-कवरेज लक्ष्य ठीक 95% तक पहुँचने के लिए तुच्छ परीक्षण उत्पन्न करता है, वास्तविक कवरेज नहीं)। परिभाषा चालाकी यह बदलती है कि क्या गिना जाता है, यह नहीं कि क्या होता है (कठिन मामलों को बाहर करने के लिए “हल किया गया” को फिर से परिभाषित करना)। समय चालाकी यह बदलती है कि काम कब दर्ज किया जाता है, यह नहीं कि यह कब हुआ (एक रिपोर्टिंग विंडो बंद होने से ठीक पहले डिप्लॉय को बैच करना)। प्रतिस्थापन चालाकी मेट्रिक की अक्षरशः बात पहुँचाती है जबकि उसके इरादे को त्याग देती है (डिप्लॉयमेंट फ़्रीक्वेंसी बढ़ाने के लिए एक वास्तविक परिवर्तन को कई तुच्छ परिवर्तनों में बाँटना)। इन पैटर्नों को अपनी टीम को स्पष्ट रूप से नाम देना उन्हें बहुत आसानी से पहचानने योग्य बनाता है जब वे आपकी अपनी संख्याओं में दिखाई देते हैं।

जहाँ भी हो सके, मापन को इनाम से अलग करें

सबसे मज़बूत गार्डरेल संरचनात्मक है: मेट्रिक को व्यक्तिगत इनाम से अलग करें। एक मेट्रिक जिसका उपयोग केवल एक सिस्टम को समझने के लिए किया जाता है, जिसमें किसी व्यक्ति का वेतन, रेटिंग, या स्थिति उसकी दिशा पर निर्भर नहीं करती, उस मेट्रिक की तुलना में बहुत कमज़ोर चालाकी दबाव का सामना करता है जो एक मूल्यांकन से जुड़ा है। यही कारण है कि विषय 1.1 का डायग्नोस्टिक-बनाम-मूल्यांकनात्मक भेद व्यवहार में इतना मायने रखता है: एक मेट्रिक को डायग्नोस्टिक बनाए रखना अक्सर बाद में लागू किए गए किसी भी मात्रा के गार्डरेल इंजीनियरिंग से सस्ता और अधिक प्रभावी होता है।

समझौते: लाभ और हानि

दृष्टिकोण	लाभ	हानि
कच्ची गिनतियाँ	गणना और समझाना सरल	मात्रा से अत्यधिक चालाकी योग्य
अनुपात और दरें	सही व्यवहार को इनाम देती हैं, मात्रा चालाकी का प्रतिरोध करती हैं	एक सिकुड़ते हर की समस्या छिपा सकती हैं
गार्डरेल युग्मन	सस्ती चालाकी को दृश्यमान रूप से महँगा बनाता है	परिभाषित, स्वामित्व, और बनाए रखने के लिए मेट्रिक्स को दोगुना करता है
केवल डायग्नोस्टिक (कोई व्यक्तिगत इनाम नहीं)	किसी भी विकल्प का सबसे कम चालाकी दबाव	नेतृत्व के लिए खींचने योग्य कमज़ोर प्रत्यक्ष प्रेरक लीवर
भारी रूप से प्रोत्साहित मेट्रिक्स	मज़बूत, तेज़ व्यवहारगत प्रतिक्रिया	उच्च विकृति जोखिम, अक्सर एक रिपोर्टिंग चक्र के भीतर

केंद्रीय तनाव है प्रेरक शक्ति बनाम विकृति जोखिम। वे मेट्रिक्स जो व्यवहार को सबसे तेज़ी से हिलाते हैं, एक संख्या को सीधे इनाम से जोड़ना, ठीक वे ही हैं जो गुडहार्ट के नियम के सबसे अधिक संपर्क में हैं। इसे उन परिणाम मेट्रिक्स के लिए मज़बूत प्रोत्साहनों को आरक्षित करके हल करें जिनके साथ सस्ते में चालाकी करना वास्तव में कठिन है, और जो कुछ भी आप प्रोत्साहित करते हैं उसे उसी समय डिज़ाइन किए गए गार्डरेल के साथ जोड़कर, पहली विकृति दिखाई देने के बाद जोड़े गए गार्डरेल से नहीं।

अपनी टीम के साथ चर्चा करने के प्रश्न

हर मेट्रिक के लिए जिस पर किसी का इनाम निर्भर करता है, उसके साथ चालाकी करने का सबसे सस्ता तरीक़ा क्या है, और क्या हम आज उस चालाकी को पकड़ लेंगे? बैठकर अपने डैशबोर्ड पर हर प्रोत्साहित संख्या के लिए जान-बूझकर शोषण को डिज़ाइन करें: एक तर्कसंगत, अच्छे इरादों वाली टीम अंतर्निहित काम किए बिना इसे कैसे अच्छा दिखाएगी? यदि आप ऐसा कोई तरीक़ा नहीं बता सकते जिससे आप उस चालाकी को पकड़ेंगे, तो आप अभी उस मेट्रिक को प्रोत्साहित करने के लिए तैयार नहीं हैं। यह अभ्यास असहज है और वह असहजता ही मुद्दा है।
हमारे कौन-से मौजूदा मेट्रिक्स पहले से ही चार चालाकी पैटर्न, थ्रेशोल्ड, परिभाषा, समय, या प्रतिस्थापन चालाकी में से किसी एक की ओर बिना किसी के इसे इंगित किए फिसल चुके हैं? विकृति शायद ही कभी स्वयं की घोषणा करती है; यह एक ऐसी संख्या के रूप में सामने आती है जो शानदार दिखती है जबकि अंतर्निहित शिकायतें, घटनाएँ, या ग्राहक प्रतिक्रिया एक अलग कहानी बताती है। अपने डैशबोर्ड को हर पैटर्न के नाम से देखें और मिलानों के बारे में ईमानदार रहें।
क्या हमारे डैशबोर्ड पर हर प्रोत्साहित मेट्रिक का एक युग्मित गार्डरेल है, और क्या वह गार्डरेल मेट्रिक के साथ ही डिज़ाइन किया गया था? एक गार्डरेल जो केवल चालाकी खोजे जाने के बाद जोड़ा गया, वह एक मरम्मत है, डिज़ाइन विकल्प नहीं, और यह आमतौर पर विश्वास को हुए पहले दौर के नुक़सान को रोकने में बहुत देर से पहुँचता है। अपने प्रोत्साहित मेट्रिक्स को इस युग्मन के लिए विशेष रूप से जाँचें।
यह मेट्रिक उस व्यक्ति के व्यवहार को आकार देने वाले व्यक्ति तक पहुँचने से पहले उस व्यक्ति से कितनी दूर यात्रा करती है जो इसके इरादे को समझता है? एक प्लेटफ़ॉर्म टीम द्वारा बनाया गया और तीन प्रबंधन परतों दूर उपयोग किया गया मेट्रिक, या एक सार्वजनिक रिपोर्ट में प्रकाशित किया गया जिसे उन लोगों ने पढ़ा जिन्होंने कभी इंस्ट्रूमेंटेशन नहीं देखा, वह उस मेट्रिक की तुलना में अक्षरशः-न-कि-भावना चालाकी के लिए कहीं अधिक उजागर है जिसे एक टीम ने अपने लिए डिज़ाइन किया। अपने सबसे परिणामी मेट्रिक्स के लिए वह दूरी मैप करें।
क्या हमने कभी किसी मेट्रिक से एक प्रोत्साहन हटाया है यह खोजने के बाद कि उसके साथ चालाकी की जा रही थी, और उसे ठीक करने में विश्वास में हमें क्या क़ीमत चुकानी पड़ी? संगठन अक्सर गुडहार्ट के नियम को कठिन तरीक़े से खोजते हैं, विकृत व्यवहार के एक चौथाई या एक साल बाद, और मरम्मत की लागत रोकथाम से अधिक होती है। यदि आपके पास कोई वास्तविक घटना है तो उसे लाएँ, और चुपचाप आगे बढ़ने की बजाय स्पष्ट रूप से सबक निकालें।
हमने कहाँ यह मान लिया कि चालाकी एक व्यक्तिगत सत्यनिष्ठा की समस्या थी न कि एक बुरी तरह डिज़ाइन किए गए प्रोत्साहन की तर्कसंगत प्रतिक्रिया? आपके बनाए एक प्रोत्साहन पर पूर्वानुमेय ढंग से प्रतिक्रिया देने के लिए व्यक्तियों को दोष देना शायद ही कभी कुछ ठीक करता है और अक्सर विश्वास को और नुक़सान पहुँचाता है। जिस भी चालाकी की घटना को आप याद कर सकते हैं उसे व्यक्ति में एक चरित्र समस्या के रूप में नहीं, मेट्रिक में एक डिज़ाइन समस्या के रूप में फिर से देखें, और पूछें कि कौन-सा पुनर्डिज़ाइन इसे रोक देता।

क्षेत्र दृष्टिकोण

स्टार्टअप। एक छोटी टीम के साथ, सबसे तेज़ गार्डरेल सीधी बातचीत है: हर कोई एक संख्या देख सकता है और तुरंत पूछ सकता है “रुको, वह क्यों उछली।” वास्तविक जोखिम एक संस्थापक द्वारा फंडरेज़िंग कथा (हर क़ीमत पर विकास) से एक मेट्रिक को बिना युग्मित गार्डरेल के जोड़ना है, क्योंकि बाहरी निवेशक ठीक उसी तरह का दूरस्थ, उच्च-दांव वाला दबाव लगाते हैं जो चालाकी को आकर्षक बनाता है।

छोटा व्यवसाय। रेडीमेड उपकरण अक्सर गिनतियों (बंद हुए टिकट, संभाली गई कॉल्स) के इर्द-गिर्द बने डिफ़ॉल्ट डैशबोर्ड भेजते हैं क्योंकि गिनतियों की गणना करना आसान है। जहाँ भी उपकरण अनुमति दे, इन्हें सक्रिय रूप से दरों में बदलें, और पहले उसका गार्डरेल पहचाने बिना किसी एक संख्या को किसी बोनस या समीक्षा से न जोड़ें।

एंटरप्राइज़। दूरी प्रमुख जोखिम है: एक प्लेटफ़ॉर्म टीम द्वारा आंतरिक निदान के लिए डिज़ाइन किया गया मेट्रिक तीन प्रबंधन परतों बाद उठाया जाता है और एक KPI में बदल दिया जाता है जिसे इसे बनाने वाला कोई भी नहीं पहचानेगा। इसे स्पष्ट रूप से गवर्न करें (विषय 1.4): किसी भी मेट्रिक को प्रदर्शन समीक्षा या कार्यकारी स्कोरकार्ड में उपयोग के लिए स्वीकृत करने से पहले एक दस्तावेज़ीकृत गार्डरेल की आवश्यकता रखें।

सरकार। प्रकाशित प्रदर्शन मापदंड इस पुस्तक की किसी भी श्रेणी के सबसे मज़बूत चालाकी दबाव का सामना करते हैं, क्योंकि एक छूटा हुआ लक्ष्य बजट या राजनीतिक परिणाम ला सकता है। परिभाषा को स्वयं एक निश्चित समय-चक्र पर ऑडिट करें, केवल संख्या को नहीं, क्योंकि क्लासिक सार्वजनिक-क्षेत्र चालाकी पैटर्न चुपचाप यह फिर से परिभाषित करना है कि कौन गिना जाता है (एक प्रतीक्षा सूची जिसे “हल” किया गया क्योंकि यह फिर से वर्गीकृत किया गया कि कौन प्रतीक्षा कर रहा है) न कि अंतर्निहित सेवा में सुधार करना।

उदाहरण

एंटरप्राइज़। एक रिटेल टेक्नोलॉजी कंपनी ने सभी सेवाओं में 99% स्वचालित टेस्ट कवरेज का लक्ष्य निर्धारित किया, जो त्रैमासिक समीक्षाओं में उपयोग होने वाले एक टीम-स्तरीय गुणवत्ता स्कोर से जुड़ा था। दो चौथाइयों के भीतर, कवरेज 99% तक पहुँच गया, और घटना दर बढ़ गई। एक ऑडिट में पाया गया कि टीमें तुच्छ परीक्षण लिख रही थीं, यह दावा करते हुए कि एक फ़ंक्शन बिना फेंके वापस आया, केवल कवरेज उपकरण को संतुष्ट करने के लिए, जबकि वास्तविक एज-केस परीक्षण बिल्कुल नहीं सुधरा था। समाधान ने कच्चे कवरेज लक्ष्य को एक युग्मित मेट्रिक से बदल दिया: कवरेज प्लस एक म्यूटेशन-टेस्टिंग स्कोर (विषय 4.2) जो मापता है कि क्या परीक्षण वास्तव में इंजेक्ट की गई त्रुटियों को पकड़ते हैं, जिसके साथ सस्ते में चालाकी करना कहीं अधिक कठिन है।

सरकार। एक राज्य की बेरोज़गारी-बीमा एजेंसी को पहले भुगतान तक मध्यमान दिनों पर मापा जा रहा था, जो इसके विधानमंडल को प्रकाशित किया जाता था। एक लक्ष्य पूरा करने के दबाव में, एक क्षेत्रीय कार्यालय ने चुपचाप कठिन-से-प्रोसेस दावों को “अपूर्ण” के रूप में फिर से वर्गीकृत करना शुरू कर दिया और उन्हें हर से बाहर कर दिया, जिससे प्रकाशित मध्यमान उत्कृष्ट दिखने लगा जबकि कुछ दावेदार रिपोर्ट के सुझाव से कहीं अधिक समय तक प्रतीक्षा करते रहे। परिभाषा के ही एक स्वतंत्र ऑडिट ने, केवल संख्या का नहीं, इस प्रथा को उजागर किया। एजेंसी के समाधान ने परिभाषा को स्थिर किया, बहिष्करण मानदंड सार्वजनिक रूप से प्रकाशित किए, और स्वयं अपूर्ण-दावों की दर को ट्रैक करने वाला एक गार्डरेल मेट्रिक जोड़ा, ताकि पुनर्वर्गीकरण में एक उछाल अब छिपाए जाने की बजाय दृश्यमान हो।

व्यावसायिक तर्क: प्रेरणाएँ, ROI, और TCO

गुडहार्ट के नियम को गंभीरता से लेने का प्रतिफल टाला गया पुनःकार्य है। एक संगठन जो पहले से गार्डरेल डिज़ाइन करता है वह पहले के साथ-साथ दूसरा मेट्रिक परिभाषित करने में मामूली अतिरिक्त प्रयास ख़र्च करता है। एक संगठन जो इस कदम को छोड़ देता है वह अक्सर विकृति सामने आने से पहले एक पूरे चौथाई या उससे अधिक का ग़लत दिशा में लगाया गया प्रयास ख़र्च करता है, उसके बाद चालाकी किए गए व्यवहार को उलटने और बाद में संख्या में विश्वास को फिर से बनाने की कहीं अधिक कठिन लागत। ऊपर का रिटेल उदाहरण विशिष्ट है: रोकना सस्ता, मरम्मत करना महँगा।

एक गार्डरेल की कुल स्वामित्व लागत मुफ़्त नहीं है: यह एक दूसरा मेट्रिक है जिसे परिभाषित, इंस्ट्रूमेंट, और समीक्षा करना है। लेकिन वह लागत उस असीमित लागत की तुलना में छोटी और स्थिर है जो एक प्रोत्साहन की है जो महीनों तक किसी के नोटिस किए बिना चुपचाप ग़लत व्यवहार को इनाम देता रहता है। इस विषय के बाद हर विषय इस समझौते की क़ीमत लगाता है, यही कारण है कि गार्डरेल युग्मन इस पुस्तक के बाक़ी हिस्से में एक सिफ़ारिश के रूप में दिखाई देता है, केवल यहीं नहीं।

विरोधी-पैटर्न और नुक़सान

बिना गार्डरेल के एक प्रोत्साहित मेट्रिक प्रकाशित करना: इस पुस्तक में एक विकृत डैशबोर्ड का सबसे आम मूल कारण।
चालाकी को एक व्यक्तिगत कमी मानना: एक बुरी तरह डिज़ाइन किए गए प्रोत्साहन की तर्कसंगत प्रतिक्रिया के लिए व्यक्तियों को दोष देता है, और कुछ भी ठीक नहीं करता।
संख्या का ऑडिट करना लेकिन परिभाषा का कभी नहीं: क्लासिक सार्वजनिक-क्षेत्र विफलता मोड, जहाँ मेट्रिक ठीक दिखता है क्योंकि कौन गिना जाता है यह चुपचाप बदल गया।
यह मानना कि एक मेट्रिक जो डायग्नोस्टिक के रूप में काम करता था वह मूल्यांकनात्मक बनने पर सुरक्षित रहेगा: जोखिम इनाम जुड़ने के क्षण बदल जाता है, भले ही मेट्रिक के बारे में और कुछ न बदले।
गार्डरेल को केवल पहली चालाकी घटना के बाद डिज़ाइन करना: एक मरम्मत जो विश्वास को हो चुके नुक़सान के बाद पहुँचती है।
दूरी को अनदेखा करना: यह मान लेना कि एक मेट्रिक को उसी तरह पढ़ा जाएगा जैसा उसके डिज़ाइनर ने इरादा किया था, एक बार जब यह उनसे कई प्रबंधन परतें या एक सार्वजनिक रिपोर्ट दूर यात्रा कर ले।

परिपक्वता मॉडल

स्तर 1, आरंभ: मेट्रिक्स तदर्थ रूप से प्रोत्साहित किए जाते हैं, बिना चालाकी जोखिम पर विचार किए, और विकृति केवल गुणवत्ता या विश्वास के दृश्यमान रूप से पीड़ित होने के बाद खोजी जाती है।
स्तर 2, विकास: कुछ टीमें बाद में चालाकी को पहचानती हैं और अनौपचारिक रूप से समायोजित करती हैं, लेकिन पहले से गार्डरेल डिज़ाइन करने का कोई निरंतर अभ्यास नहीं है।
स्तर 3, मानकीकरण: संगठन भर में हर प्रोत्साहित मेट्रिक को स्वीकृति से पहले एक दस्तावेज़ीकृत गार्डरेल की आवश्यकता होती है, और चार चालाकी पैटर्न को नाम दिया और सिखाया जाता है।
स्तर 4, प्रबंधन: चालाकी जोखिम को सक्रिय रूप से मॉनिटर किया जाता है: परिभाषाओं को समय-समय पर ऑडिट किया जाता है, गार्डरेल जोड़ों की समीक्षा की जाती है कि क्या वे अभी भी विकृति पकड़ते हैं, और चालाकी की घटनाओं को स्वयं एक मेट्रिक के रूप में ट्रैक किया जाता है।
स्तर 5, संयोजन: संगठन गुडहार्ट के नियम को एक स्थायी डिज़ाइन बाधा मानता है, जिसे हर बार एक नया मेट्रिक प्रस्तावित होने पर स्वचालित रूप से समीक्षा किया जाता है, और यह विशिष्ट पुनर्डिज़ाइन की ओर इशारा कर सकता है जिन्होंने विकृति को होने के बाद नहीं, होने से पहले रोका।

चर्चा के लिए विचार

हमारे संगठन में सबसे परिणामी मेट्रिक कौन-सा है जिसका आज कोई गार्डरेल नहीं है?
क्या हमने कभी देखा है कि एक संख्या सुधरी जबकि अंतर्निहित वास्तविकता बदतर हो गई?
यदि हमारे किसी सार्वजनिक मेट्रिक के पीछे की परिभाषा चुपचाप बदल जाए तो किसे नोटिस होगा?
चार चालाकी पैटर्नों (थ्रेशोल्ड, परिभाषा, समय, प्रतिस्थापन) में से किसके प्रति हमारा संगठन सबसे अधिक प्रवण है?
यह पता चलने पर कि एक प्रमुख मेट्रिक के साथ एक साल से चालाकी की जा रही थी, विश्वास में हमें क्या क़ीमत चुकानी पड़ेगी?

मुख्य निष्कर्ष

गुडहार्ट का नियम: एक मापदंड जो लक्ष्य बन जाता है, अच्छा मापदंड बनना बंद कर देता है, और यह इस पुस्तक के हर मेट्रिक को संचालित करता है।
चालाकी प्रोत्साहन के प्रति एक तर्कसंगत प्रतिक्रिया है, चरित्र की कमी नहीं; प्रोत्साहन डिज़ाइन को ठीक करें, लोगों को नहीं।
जहाँ भी वे एक ही व्यवहार पकड़ें, कच्ची गिनतियों की बजाय अनुपात, दरों, और कोहॉर्ट्स को प्राथमिकता दें।
हर प्रोत्साहित मेट्रिक को एक गार्डरेल की आवश्यकता है, जो उसी समय डिज़ाइन किया गया हो, विकृति खोजे जाने के बाद जोड़ा गया नहीं।
चार चालाकी पैटर्नों को नाम से सतर्क रहें: थ्रेशोल्ड, परिभाषा, समय, और प्रतिस्थापन चालाकी।
एक मेट्रिक के डिज़ाइनर और उस व्यक्ति के बीच दूरी जिसका व्यवहार यह आकार देता है, विकृति जोखिम को बढ़ाती है; जहाँ आप कर सकें उस दूरी को छोटा रखें।

संदर्भ और आगे पढ़ने के लिए

Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): गुडहार्ट के नियम की उत्पत्ति।
Strathern, Marilyn, “‘Improving Ratings’: Audit in the British University System” (1997): व्यापक रूप से उद्धृत पुनर्कथन, “जब एक मापदंड लक्ष्य बन जाता है, तो वह अच्छा मापदंड बनना बंद कर देता है।”
Seeing Like a State, James C. Scott द्वारा (कैसे सुपाठ्य मेट्रिक्स राष्ट्रों के पैमाने पर उन प्रणालियों को विकृत करते हैं जिन्हें वे मापते हैं)।
The Tyranny of Metrics, Jerry Z. Muller द्वारा (कई पेशों में मेट्रिक फिक्सेशन और उसकी लागतों का एक पुस्तक-लंबाई का उपचार)।
Lean Analytics, Alistair Croll और Benjamin Yoskovitz द्वारा (एक स्टार्टअप संदर्भ में वैनिटी बनाम कार्रवाई योग्य मेट्रिक्स, और गार्डरेल डिज़ाइन)।
अमेरिकी सरकार जवाबदेही कार्यालय (GAO) का प्रदर्शन मापन और GPRA आधुनिकीकरण अधिनियम पर मार्गदर्शन: सार्वजनिक-क्षेत्र प्रदर्शन रिपोर्टिंग और चालाकी जोखिम।