7.4 नए उत्तरी-सितारे के रूप में परिणाम टेलीमेट्री

अवलोकन और प्रेरणा

यह विषय भाग 7 को बंद करता है, और एक वास्तविक अर्थ में उस तर्क को बंद करता है जिसे यह पूरी पुस्तक विषय 1.3 से बना रही है, एक एकल, प्रत्यक्ष दावे के साथ: जैसे-जैसे जनरेटिव AI कच्चे आउटपुट को सस्ता बनाता है, परिणाम टेलीमेट्री, गतिविधि या आउटपुट की बजाय वास्तविक परिणामों का निरंतर, इंस्ट्रूमेंट किया गया माप, कई अच्छी प्रथाओं में से एक होना बंद कर देती है और वह आयोजन सिद्धांत बन जाती है जिसके इर्द-गिर्द एक मेट्रिक्स कार्यक्रम को बनाना पड़ता है। यह यहाँ पहली बार पेश किया गया एक नया विचार नहीं है। यह वह विचार है जिसे विषय 1.3 ने इस पुस्तक के शुरुआती भाग में पेश किया, अब एक प्रौद्योगिकी बदलाव की केवल पसंदीदा नहीं बल्कि आवश्यक प्रतिक्रिया के रूप में प्रस्तुत किया गया जिसने हर विकल्प को पहले से अधिक ख़तरनाक बना दिया है।

तर्क प्रत्यक्ष है। जनरेटिव AI से पहले, आउटपुट मात्रा प्रयास के लिए एक अपूर्ण लेकिन बेकार नहीं प्रॉक्सी थी और, ढीले ढंग से, मूल्य के लिए; एक टीम जिसने अधिक विशेषताएँ शिप कीं उसने, न्यूनतम, अधिक काम किया, भले ही वह काम हमेशा सही काम न रहा हो। जनरेटिव AI उस ढीले संबंध को भी तोड़ देता है: आउटपुट मात्रा अब विश्वसनीय रूप से प्रयास का संकेत नहीं देती, क्योंकि एक उपकरण इसे सेकंडों में उत्पन्न कर सकता है, और यह निश्चित रूप से मूल्य का संकेत नहीं देती, क्योंकि विषय 7.3 ने दिखाया कि बढ़ा हुआ आउटपुट बिगड़ती गुणवत्ता के साथ सह-अस्तित्व में रह सकता है। जो मेट्रिक्स इस बदलाव से बरक़रार बचते हैं वे ठीक वे हैं जिनकी ओर इस पुस्तक ने अपने शुरुआती विषयों से निर्माण पर ज़ोर दिया है: एस्केप्ड दोष दर (विषय 5.1), फ़ीचर अपनाना (विषय 5.2), ग्राहक और व्यावसायिक परिणाम (विषय 5.3), विश्वसनीयता (भाग 6), और डेवलपर भलाई (भाग 3)। इनमें से कोई भी इस पर निर्भर नहीं करता कि अंतर्निहित कोड कैसे उत्पन्न किया गया था; ये सभी मापते हैं कि परिणामस्वरूप वास्तव में क्या हुआ।

बड़ी टीमों के लिए, इस विषय के तर्क का इस बात पर प्रत्यक्ष, व्यावहारिक परिणाम है कि आगे बढ़ते हुए एक मेट्रिक्स कार्यक्रम को कैसे बनाया और फिर से बनाया जाना चाहिए। AI अपनाने के प्रकाश में अपने इंजीनियरिंग डैशबोर्ड को फिर से डिज़ाइन करने वाले एंटरप्राइज़ संगठनों को विशेष रूप से इस विषय द्वारा वर्णित परिणाम-टेलीमेट्री अवसंरचना की ओर निवेश को भारित करना चाहिए; AI टूलिंग और उस व्यापक प्रौद्योगिकी कार्यक्रम दोनों का मूल्यांकन करने वाले सरकारी संगठनों को, जिसमें यह एम्बेडेड है, दोनों को उसी परिणाम-टेलीमेट्री मानक के अनुसार रखना चाहिए जो यह विषय किसी भी विश्वसनीय, भविष्य-सुरक्षित मूल्यांकन के लिए आधाररेखा के रूप में सुझाता है।

प्रमुख सिद्धांत

एक बार आउटपुट सस्ता होने के बाद परिणाम टेलीमेट्री आवश्यक हो जाती है, केवल पसंदीदा नहीं। यह विषय 1.3 का संस्थापक सिद्धांत है, अब आकांक्षापूर्ण की बजाय अत्यावश्यक।
जो मेट्रिक्स इस बदलाव से बचते हैं वे वे हैं जिनकी ओर इस पुस्तक ने पूरी तरह निर्माण किया है: एस्केप्ड दोष, अपनाना, व्यावसायिक परिणाम, विश्वसनीयता, और भलाई।
मुख्य रूप से आउटपुट मेट्रिक्स के इर्द-गिर्द बनाया गया एक मेट्रिक्स कार्यक्रम अब एक देनदारी है, केवल एक उप-इष्टतम चुनाव नहीं। आउटपुट मेट्रिक्स को पैमाने पर सस्ते और जल्दी बढ़ाया जा सकता है।
परिणाम टेलीमेट्री को वास्तविक निवेश की आवश्यकता है, इंस्ट्रूमेंटेशन, धीमे संकेत के लिए धैर्य, और तेज़, सस्ते, लेकिन अब-अविश्वसनीय आउटपुट मेट्रिक्स की ओर खिंचाव का विरोध करने के लिए संगठनात्मक अनुशासन।
यह सिद्धांत किसी भी विशिष्ट AI उपकरण या विक्रेता से आगे टिकता है। यह आउटपुट का अर्थ क्या है में एक स्थायी बदलाव के प्रति एक टिकाऊ प्रतिक्रिया है, एक गुज़रती प्रवृत्ति के लिए एक अस्थायी समायोजन नहीं।

सिफ़ारिशें

अपने मेट्रिक्स निवेश अनुपात का ऑडिट करें: परिणाम टेलीमेट्री बनाम आउटपुट ट्रैकिंग

मोटे तौर पर गणना करें कि आपकी वर्तमान मेट्रिक्स अवसंरचना, इंस्ट्रूमेंटेशन प्रयास, डैशबोर्ड रियल एस्टेट, समीक्षा-बैठक समय, का कितना हिस्सा परिणाम मेट्रिक्स (भाग 5, भाग 6, भाग 3 से डेवलपर भलाई) की ओर जाता है बनाम आउटपुट और गतिविधि मेट्रिक्स (डिप्लॉयमेंट गिनती, कमिट मात्रा, पुल रिक्वेस्ट थ्रूपुट)। यदि आउटपुट ट्रैकिंग हावी है, तो वह अनुपात स्वयं इस विषय के तर्क को देखते हुए अब एक देनदारी है, और इसे पुनर्संतुलित करना इस विषय द्वारा सुझाया गया एकल सर्वोच्च-लीवरेज परिवर्तन है।

जान-बूझकर परिणाम टेलीमेट्री अवसंरचना में निवेश करें, एक प्रथम-श्रेणी इंजीनियरिंग निवेश के रूप में

परिणाम माप, फ़ीचर अपनाना ट्रैकिंग, व्यावसायिक परिणाम सहसंबंध (विषय 5.3), विश्वसनीयता इंस्ट्रूमेंटेशन (भाग 6), को वास्तविक, चल रहे इंजीनियरिंग निवेश की आवश्यकता है जिसे कई संगठनों ने ऐतिहासिक रूप से आज कई डैशबोर्डों पर हावी तुलनात्मक रूप से सस्ते और आसान आउटपुट मेट्रिक्स के सापेक्ष कम-संसाधित किया है। इस अवसंरचना निवेश को उसी गंभीरता से मानें जो यह पुस्तक किसी भी अन्य महत्वपूर्ण इंजीनियरिंग क्षमता पर लागू करती है, स्वयं AI टूलिंग निवेश के पीछे एक द्वितीयक चिंता के रूप में नहीं।

स्वीकार करें और संप्रेषित करें कि परिणाम टेलीमेट्री धीमी है, और इसे अपने संगठन की अपेक्षाओं में धैर्य बनाएँ

परिणाम मेट्रिक्स, लगभग अपनी प्रकृति से, आउटपुट मेट्रिक्स से अधिक लैगी और शोरगुल भरे हैं (विषय 1.3 का अग्रणी-बनाम-लैगिंग भेद, विषय 1.6 की सांख्यिकीय सावधानी)। एक संगठन जो एक आउटपुट संख्या को बढ़ते देखने की तेज़, संतोषजनक प्रतिक्रिया का आदी है उसे धीमे, अधिक ईमानदार संकेत के लिए वास्तविक धैर्य बनाने की आवश्यकता है जो परिणाम टेलीमेट्री प्रदान करती है, और नेतृत्व को उस धैर्य को सक्रिय रूप से संप्रेषित और मॉडल करने की आवश्यकता है, तेज़ परिणाम दिखाने के दबाव में सजगतापूर्वक तेज़, अब-अविश्वसनीय विकल्प की ओर पहुँचने की बजाय।

इस बदलाव का उपयोग वास्तव में पुराने आउटपुट मेट्रिक्स को सेवानिवृत्त करने के अवसर के रूप में करें, केवल उनके साथ-साथ परिणाम मेट्रिक्स जोड़ने के लिए नहीं

उन मेट्रिक्स को सेवानिवृत्त करने के विषय 1.1 के अनुशासन का पालन करते हुए जो अब अपनी क़ीमत नहीं कमाते, इस क्षण का उपयोग उन आउटपुट और गतिविधि मेट्रिक्स को हटाने के एक जान-बूझकर अवसर के रूप में करें जिन्हें इस बदलाव ने विशेष रूप से अवमूल्यित किया है, बस एक अपरिवर्तित मौजूदा डैशबोर्ड के ऊपर परिणाम मेट्रिक्स जोड़ने की बजाय। एक डैशबोर्ड जो हर पुराने आउटपुट मेट्रिक को रखते हुए नए परिणाम मेट्रिक्स को जोड़ता है वह वास्तव में सुधरने की बजाय फूला हुआ हो जाता है।

परिणाम टेलीमेट्री निवेश को टिकाऊ मानें, किसी भी विशिष्ट AI उपकरण या विक्रेता संबंध से स्वतंत्र

परिणाम-टेलीमेट्री अवसंरचना को एक स्थायी संगठनात्मक क्षमता के रूप में बनाएँ, इस वर्ष आपका संगठन जो भी AI उपकरण उपयोग कर रहा है उसके प्रति एक विशिष्ट प्रतिक्रिया के रूप में नहीं। यह सिद्धांत, और यह जिस अवसंरचना की माँग करता है, किसी भी विशिष्ट विक्रेता संबंध या टूलिंग पीढ़ी से आगे टिकेगा, और इसे एक टिकाऊ क्षमता के रूप में बनाना आपके मेट्रिक्स कार्यक्रम को अगले प्रौद्योगिकी बदलाव के विरुद्ध उतना ही रक्षा करता है जितना वर्तमान वाले के विरुद्ध।

समझौते: लाभ और हानि

दृष्टिकोण	लाभ	हानि
आउटपुट-मेट्रिक-प्रधान डैशबोर्ड	तेज़, सस्ता फ़ीडबैक; अधिकांश संगठनों के लिए परिचित	जनरेटिव AI के आउटपुट लागत पर प्रभाव को देखते हुए अब सक्रिय रूप से अविश्वसनीय
परिणाम-टेलीमेट्री-प्रधान डैशबोर्ड	इस बदलाव के प्रति लचीला; वास्तव में मायने रखता है वह मापता है	धीमा, शोरगुल भरा संकेत; वास्तविक इंस्ट्रूमेंटेशन निवेश की आवश्यकता
अपरिवर्तित आउटपुट मेट्रिक्स के साथ परिणाम मेट्रिक्स जोड़ना	वृद्धिशील, कम विघटनकारी	वास्तविक सुधार की बजाय डैशबोर्ड फुलावट उत्पन्न करता है
परिणाम टेलीमेट्री की ओर पूर्ण, जान-बूझकर पुनर्संतुलन	बदलाव को सीधे और पूरी तरह संबोधित करता है	सबसे महत्वपूर्ण संगठनात्मक और निवेश परिवर्तन की आवश्यकता

केंद्रीय तनाव, एक वास्तविक अर्थ में, वही है जिसके साथ इस पुस्तक ने विषय 1.3 में शुरुआत की थी, अब इसके सबसे अत्यावश्यक रूप में तेज़ किया गया: तेज़, परिचित फ़ीडबैक बनाम धीमा, ईमानदार संकेत। आउटपुट मेट्रिक्स हमेशा उत्पन्न करने के लिए आसान और तेज़ रहे हैं; इस विषय का तर्क यह है कि जनरेटिव AI ने उस समझौते को केवल उप-इष्टतम से सक्रिय रूप से ख़तरनाक की ओर स्थानांतरित कर दिया है। तनाव को उसी तरह हल करें जैसे यह पुस्तक अपने शुरुआती विषय से सुझाती आई है: निर्णायक रूप से परिणामों की ओर भारित करें, वास्तविक मूल्य माप के साथ आने वाले धीमे फ़ीडबैक को स्वीकार करें, और उस धीमे फ़ीडबैक की असुविधा को कुछ वास्तविक मापने की ईमानदार लागत मानें, केवल कुछ सुविधाजनक की बजाय।

अपनी टीम के साथ चर्चा करने के प्रश्न

हमारी वर्तमान मेट्रिक्स अवसंरचना और डैशबोर्ड ध्यान का कितना हिस्सा परिणाम मेट्रिक्स की ओर बनाम आउटपुट और गतिविधि मेट्रिक्स की ओर जाता है? इस अनुपात की ईमानदारी से गणना करें; पहली बार आँके गए अधिकांश संगठन इसे अपने अनुमान से अधिक आउटपुट-भारित पाते हैं।
हमने तेज़, सस्ते आउटपुट ट्रैकिंग के पक्ष में किस विशिष्ट परिणाम-टेलीमेट्री अवसंरचना निवेश को टाला है? एक ठोस उदाहरण नाम दें, फ़ीचर अपनाना इंस्ट्रूमेंटेशन, व्यावसायिक परिणाम सहसंबंध टूलिंग, और चर्चा करें कि इसे वास्तव में बनाने के लिए क्या लगेगा।
क्या हमारे संगठन ने परिणाम टेलीमेट्री के धीमे फ़ीडबैक के लिए वास्तविक धैर्य बनाया है, या क्या तेज़ परिणामों का दबाव हमें वापस तेज़ लेकिन अब-अविश्वसनीय आउटपुट मेट्रिक्स की ओर खींचता रहता है? अपनी हाल की रिपोर्टिंग और समीक्षा बैठकों में इस पैटर्न के बारे में ईमानदार रहें।
हमारे वर्तमान डैशबोर्ड पर कौन-सा आउटपुट या गतिविधि मेट्रिक सेवानिवृत्ति के लिए एक वास्तविक उम्मीदवार है, अब जबकि इस विषय का तर्क विशेष रूप से इस पर लागू होता है? कम से कम एक की पहचान करें, और चर्चा करें कि बस एक अंतर छोड़ने की बजाय इसे क्या प्रतिस्थापित करने की आवश्यकता होगी।
यदि हमारा AI टूलिंग विक्रेता या AI कोडिंग सहायकों की वर्तमान पीढ़ी अगले वर्ष नाटकीय रूप से बदल जाए, तो क्या हमारा मेट्रिक्स कार्यक्रम अभी भी टिकेगा? यह जाँचता है कि क्या आपका परिणाम-टेलीमेट्री निवेश वास्तव में टिकाऊ है, एक स्थायी क्षमता के रूप में बनाया गया है, या केवल आपकी वर्तमान टूलिंग स्थिति के प्रति एक विशिष्ट प्रतिक्रिया है।
इस विषय के तर्क के प्रति पूरी तरह प्रतिबद्ध होना, वृद्धिशील रूप से समायोजित करने की बजाय निर्णायक रूप से परिणामों की ओर हमारे मेट्रिक्स निवेश को पुनर्संतुलित करना, हमारे संगठन के लिए कैसा दिखेगा? इसे अमूर्त छोड़ने की बजाय ठोस रूप से रेखांकित करें; वर्तमान स्थिति और इस दृष्टि के बीच का अंतर इस बदलाव का जवाब देने के लिए आपके संगठन का वास्तविक रोडमैप है।

क्षेत्र दृष्टिकोण

स्टार्टअप। आउटपुट मेट्रिक्स के गहराई से जड़ जमाई हुई संगठनात्मक आदत बनने का मौक़ा मिलने से पहले जल्दी परिणाम टेलीमेट्री बनाना बाद में इसे फिर से फ़िट करने की तुलना में वास्तव में आसान है। शुरू से AI कोडिंग सहायता अपनाने वाली एक युवा कंपनी के पास अपने मेट्रिक्स कार्यक्रम को परिणाम-पहले बनाने का एक वास्तविक अवसर है, एक मौजूदा आउटपुट-मेट्रिक-प्रधान संस्कृति को उलटने की आवश्यकता की बजाय।

छोटा व्यवसाय। परिणाम-टेलीमेट्री निवेश को उस एकल परिणाम मेट्रिक पर केंद्रित करें जो सबसे सीधे अस्तित्व और वृद्धि को दर्शाता है (विषय 5.3), इस पुस्तक द्वारा कवर की गई हर परिणाम श्रेणी में व्यापक इंस्ट्रूमेंटेशन का प्रयास करने की बजाय। एक मामूली, केंद्रित परिणाम-टेलीमेट्री निवेश एक व्यापक आउटपुट-मेट्रिक डैशबोर्ड को हराता है जिसे इस विषय के तर्क ने अब विशेष रूप से अवमूल्यित कर दिया है।

एंटरप्राइज़। इस पैमाने पर इस विषय द्वारा सुझाया गया पुनर्संतुलन एक वास्तविक, महत्वपूर्ण संगठनात्मक परिवर्तन है, जिसे संभवतः कार्यकारी प्रायोजन और एक बहु-चौथाई निवेश योजना की आवश्यकता होगी। इसे उतनी ही गंभीरता से मानें जितनी यह पुस्तक कवर करने वाले किसी भी अन्य प्रमुख अवसंरचना निवेश को मानती है, और निवेश के लिए आंतरिक मामला बनाने के लिए विषय 7.1 और विषय 7.3 के विशिष्ट, ठोस उदाहरणों का उपयोग करें, मेट्रिक स्फीति और गुणवत्ता कमज़ोरी जिसे एक पुनर्संतुलित डैशबोर्ड पहले पकड़ लेता।

सरकार। मुख्य रूप से डिलीवरी और आउटपुट मेट्रिक्स (शिप की गई विशेषताएँ, समय पर) पर आँके गए सरकारी प्रौद्योगिकी कार्यक्रम तेज़ी से ठीक उसी संशयवाद के प्रति संवेदनशील हो रहे हैं जिसे विषय 5.3 ने वर्णित किया, और इस विषय का तर्क उस संवेदनशीलता को आगे तेज़ करता है जैसे-जैसे AI टूलिंग अपनाना उस व्यापक उद्योग में फैलता है जिससे सरकारी एजेंसियाँ भर्ती करती हैं और जिसके विरुद्ध उनकी तुलना की जाती है। सार्वजनिक रिपोर्टिंग और बजट औचित्य के लिए प्राथमिक आधार के रूप में परिणाम टेलीमेट्री बनाएँ, अपने संगठन को इस बदलाव के पीछे की बजाय आगे स्थापित करते हुए।

उदाहरण

एंटरप्राइज़। विषय 7.1 के वित्तीय प्रौद्योगिकी उदाहरण में वर्णित मेट्रिक-स्फीति निकट-चूक से सीधे प्रेरित एक सॉफ़्टवेयर कंपनी के इंजीनियरिंग नेतृत्व ने अपने मेट्रिक्स निवेश अनुपात का एक पूर्ण ऑडिट किया और पाया कि इसके डैशबोर्ड रियल एस्टेट और इंस्ट्रूमेंटेशन प्रयास का लगभग 70% आउटपुट और गतिविधि मेट्रिक्स को समर्पित था, परिणाम टेलीमेट्री में केवल मामूली, असंगत निवेश के साथ। अगले वर्ष में, कंपनी ने जान-बूझकर इस अनुपात को पुनर्संतुलित किया, विषय 7.1 के ऑडिट द्वारा सबसे अधिक उजागर के रूप में चिह्नित कई आउटपुट मेट्रिक्स को सेवानिवृत्त करते हुए और मुक्त क्षमता को फ़ीचर अपनाना और व्यावसायिक परिणाम इंस्ट्रूमेंटेशन (विषय 5.2, 5.3) में निवेश करते हुए। परिणामी डैशबोर्ड को, अगले वर्ष की बोर्ड बैठक में प्रस्तुत किया गया, उसी पहले संशयवादी बोर्ड सदस्य द्वारा स्पष्ट रूप से इंजीनियरिंग निवेश का मूल्यांकन करने के लिए इसके द्वारा प्रतिस्थापित आउटपुट-भारी संस्करण की तुलना में सार्थक रूप से अधिक विश्वसनीय आधार के रूप में श्रेय दिया गया।

सरकार। एक राष्ट्रीय डिजिटल सेवा एजेंसी, विशेष रूप से इसलिए शुरू से एक नया इंजीनियरिंग मेट्रिक्स कार्यक्रम बना रही थी क्योंकि इसके पिछले, आउटपुट-मेट्रिक-प्रधान डैशबोर्ड ने निरंतर विधायी संशयवाद खींचा था, ने इस विषय के सिद्धांत को अपने संस्थापक डिज़ाइन निर्णय के रूप में स्पष्ट रूप से अपनाया: परिणाम टेलीमेट्री, नागरिक प्रतीक्षा समय, सेवा पूर्णता दर, एस्केप्ड दोष दर, सभी सार्वजनिक रिपोर्टिंग के लिए प्राथमिक आधार होगा, केवल आंतरिक निदानात्मक उपकरणों के रूप में बनाए रखे गए आउटपुट और डिलीवरी मेट्रिक्स के साथ, बाहरी रूप से प्रस्तुत सुर्खी प्रमाण के रूप में कभी नहीं। यह परिणाम-पहले डिज़ाइन, जान-बूझकर जनरेटिव AI बदलाव के प्रकाश में बनाया गया जिसे यह भाग वर्णित करता है, ने एजेंसी की रिपोर्टिंग को इसकी निगरानी समिति के साथ एक टिकाऊपन और विश्वसनीयता दी जो इसके पूर्ववर्ती कार्यक्रम ने कभी प्राप्त नहीं की थी, जो एक पहले की पीढ़ी की आउटपुट-मेट्रिक धारणाओं के इर्द-गिर्द बनाया गया था।

व्यावसायिक तर्क: प्रेरणाएँ, ROI, और TCO

परिणाम टेलीमेट्री के प्रति निर्णायक रूप से प्रतिबद्ध होने का प्रतिफल एक ऐसा मेट्रिक्स कार्यक्रम है जो वर्तमान प्रौद्योगिकी बदलाव और उसके बाद जो भी आता है उसके माध्यम से विश्वसनीय और भरोसेमंद बना रहता है, अगली बार जब किसी भविष्य के प्रौद्योगिकी परिवर्तन के माध्यम से आउटपुट सस्ता हो जाता है तो एक और महत्वपूर्ण पुनर्निर्माण की आवश्यकता वाले एक की बजाय। ऊपर का सॉफ़्टवेयर कंपनी उदाहरण इसे ठोस रूप से दिखाता है: पुनर्संतुलित डैशबोर्ड ने सीधे उस विश्वसनीयता की मरम्मत की जिसे पहले के, आउटपुट-भारी संस्करण ने वास्तविक जोखिम में डाल दिया था।

कुल स्वामित्व लागत इस विषय द्वारा सुझाया गया परिणाम-टेलीमेट्री अवसंरचना निवेश है, एक बड़े संगठन के लिए वास्तव में महत्वपूर्ण, बहु-चौथाई काम, एक मेट्रिक्स कार्यक्रम के टिकाऊ, दीर्घकालिक जोखिम के विरुद्ध तौला गया जो जैसे-जैसे आउटपुट सस्ता होता जाता है क्रमशः कम विश्वसनीय होता जाता है। यह वह लागत नहीं है जिसे यह पुस्तक आपसे हल्के में स्वीकार करने के लिए कहती है; यह विषय 1.3 के संस्थापक तर्क को उतनी ही गंभीरता से लेने का प्रत्यक्ष, आवश्यक परिणाम है जितनी गंभीरता से इस पुस्तक का यह अंतिम भाग आपसे लेने के लिए कहता है।

विरोधी-पैटर्न और नुक़सान

इस बदलाव को वास्तविक पुनर्संतुलन की बजाय केवल वृद्धिशील समायोजन की आवश्यकता मानना: जनरेटिव AI ने आउटपुट मेट्रिक्स के अर्थ में जो पैमाने का परिवर्तन पेश किया है उसे कम आँकता है।
एक अपरिवर्तित, अभी भी हावी आउटपुट मेट्रिक्स के सेट के साथ परिणाम मेट्रिक्स जोड़ना: इस विषय द्वारा तर्क किए गए वास्तविक पुनर्संतुलन की बजाय डैशबोर्ड फुलावट उत्पन्न करता है।
परिणाम-टेलीमेट्री निवेश को एक टिकाऊ क्षमता की बजाय एक विशिष्ट वर्तमान AI उपकरण के प्रति एक प्रतिक्रिया के रूप में बनाना: संगठन को उसी तरह अगले प्रौद्योगिकी बदलाव के प्रति उजागर छोड़ता है।
परिणाम टेलीमेट्री के धीमे फ़ीडबैक के लिए संगठनात्मक धैर्य बनाने में विफल होना: तेज़ परिणामों के दबाव में तेज़, लेकिन अब-अविश्वसनीय, आउटपुट मेट्रिक्स की ओर वापस लौटने का जोखिम रखता है।
एक वास्तविक परिणाम-टेलीमेट्री प्रतिस्थापन के बिना आउटपुट मेट्रिक्स को सेवानिवृत्त करना: एक वास्तविक सुधार की बजाय एक माप अंतर छोड़ता है।
इस बदलाव को रुचिधारकों के सामने केवल AI टूलिंग की प्रतिक्रिया के रूप में प्रस्तुत करना, इस पुस्तक के संस्थापक सिद्धांत की पूर्ति के रूप में नहीं: तर्क की टिकाऊपन और सामान्यता को कम आँकता है।

परिपक्वता मॉडल

स्तर 1, आरंभ: डैशबोर्ड आउटपुट-मेट्रिक-प्रधान बना रहता है, इस भाग द्वारा वर्णित बदलाव के प्रति कोई जान-बूझकर प्रतिक्रिया नहीं।
स्तर 2, विकास: कुछ परिणाम मेट्रिक्स जोड़े गए हैं, लेकिन समग्र निवेश अनुपात आउटपुट-भारी बना रहता है और कोई मेट्रिक्स जान-बूझकर सेवानिवृत्त नहीं किए गए हैं।
स्तर 3, मानकीकरण: परिणाम टेलीमेट्री की ओर एक जान-बूझकर ऑडिट और पुनर्संतुलन किया गया है, वास्तव में पुराने आउटपुट मेट्रिक्स को संगठन-व्यापी सेवानिवृत्त किया गया।
स्तर 4, प्रबंधन: परिणाम-टेलीमेट्री अवसंरचना को एक प्रथम-श्रेणी, चल रहे इंजीनियरिंग निवेश के रूप में माना जाता है, और इसके धीमे फ़ीडबैक के लिए संगठनात्मक धैर्य सक्रिय रूप से विकसित और संरक्षित किया जाता है।
स्तर 5, संयोजन: संगठन का मेट्रिक्स कार्यक्रम एक टिकाऊ, स्थायी डिज़ाइन सिद्धांत के रूप में परिणाम-टेलीमेट्री-नेतृत्व वाला है, जो वर्तमान प्रौद्योगिकी बदलाव के माध्यम से लचीला साबित हुआ और आगे जो भी आए उसके माध्यम से लचीला बने रहने के लिए स्पष्ट रूप से बनाया गया।

चर्चा के लिए विचार

परिणाम-मेट्रिक बनाम आउटपुट-मेट्रिक निवेश का हमारा वास्तविक वर्तमान अनुपात क्या है?
हमें इस चौथाई किस एकल आउटपुट मेट्रिक को सेवानिवृत्त करना चाहिए, और किस परिणाम मेट्रिक को इसे प्रतिस्थापित करना चाहिए?
हाल ही में संगठनात्मक अधीरता ने हमें वापस तेज़ लेकिन कम विश्वसनीय आउटपुट मेट्रिक्स की ओर कहाँ खींचा है?
क्या हमारा परिणाम-टेलीमेट्री निवेश टिकाऊ है, या विशेष रूप से हमारी वर्तमान AI टूलिंग स्थिति से जुड़ा हुआ है?
वृद्धिशील रूप से समायोजित करने की बजाय इस विषय के तर्क के प्रति पूरी तरह प्रतिबद्ध होने के लिए क्या लगेगा?

मुख्य निष्कर्ष

एक बार जनरेटिव AI आउटपुट को सस्ता बना देता है तो परिणाम टेलीमेट्री आवश्यक हो जाती है, केवल पसंदीदा नहीं; यह विषय 1.3 का संस्थापक सिद्धांत है, अब अत्यावश्यक।
जो मेट्रिक्स इस बदलाव से बचते हैं वे वे हैं जिनकी ओर इस पुस्तक ने पूरी तरह निर्माण किया है: एस्केप्ड दोष, अपनाना, व्यावसायिक परिणाम, विश्वसनीयता, और भलाई।
अपने मेट्रिक्स निवेश अनुपात का जान-बूझकर ऑडिट और पुनर्संतुलन करें, केवल परिणाम मेट्रिक्स को साथ में जोड़ने की बजाय वास्तव में पुराने आउटपुट मेट्रिक्स को सेवानिवृत्त करते हुए।
परिणाम टेलीमेट्री के धीमे फ़ीडबैक के लिए संगठनात्मक धैर्य बनाएँ, और दबाव में वापस तेज़ लेकिन अब-अविश्वसनीय आउटपुट मेट्रिक्स की ओर खिंचाव का विरोध करें।
इस निवेश को एक टिकाऊ क्षमता के रूप में बनाएँ, किसी भी विशिष्ट AI उपकरण या विक्रेता से स्वतंत्र, अपने मेट्रिक्स कार्यक्रम को वर्तमान के साथ-साथ भविष्य के प्रौद्योगिकी बदलावों के विरुद्ध भी रक्षा करते हुए।

संदर्भ और आगे पढ़ने के लिए

Accelerate: The Science of Lean Software and DevOps, by Nicole Forsgren, Jez Humble, and Gene Kim (परिणाम-आधारित माप आधार जिस पर यह पूरी पुस्तक, और भाग 7 का यह समापन विषय, बनता है)।
Lean Analytics, by Alistair Croll and Benjamin Yoskovitz (कार्रवाई-योग्य-बनाम-वैनिटी-मेट्रिक भेद जिसे इस विषय का तर्क AI युग तक विस्तारित करता है)।
The Innovator’s Dilemma, by Clayton M. Christensen (स्थापित मेट्रिक्स और प्रथाओं के एक विघटनकारी प्रौद्योगिकी बदलाव के तहत देनदारियाँ बनने का सामान्य पैटर्न)।
Measure What Matters, by John Doerr (एक मेट्रिक्स कार्यक्रम के लिए एक आयोजन सिद्धांत के रूप में परिणाम-उन्मुख लक्ष्य निर्धारण, वह मॉडल जिसके बारे में यह विषय तर्क देता है कि अब यह अपवाद नहीं, डिफ़ॉल्ट होना चाहिए)।