2.10 DORA मेट्रिक्स फ्रेमवर्क

अवलोकन और प्रेरणा

DORA मेट्रिक्स DevOps रिसर्च एंड असेसमेंट कार्यक्रम से आते हैं, एक बहु-वर्षीय शोध प्रयास, जिसे बाद में Nicole Forsgren, Jez Humble, और Gene Kim द्वारा Accelerate पुस्तक के रूप में प्रकाशित किया गया, जिसने यह जानने के लिए दसियों हज़ार इंजीनियरिंग पेशेवरों का सर्वेक्षण किया कि कौन-सी डिलीवरी प्रथाएँ संगठनात्मक प्रदर्शन के साथ सहसंबंधित हैं। परिणाम चार मेट्रिक्स था, दो-दो जोड़े में: डिप्लॉयमेंट फ़्रीक्वेंसी और परिवर्तनों के लिए लीड टाइम गति मापते हैं; चेंज फ़ेल्योर रेट और विफल डिप्लॉयमेंट रिकवरी टाइम, जिसे अक्सर मीन टाइम टू रिकवरी (MTTR) छोटा किया जाता है, स्थिरता मापते हैं। शोध खोज जिसने फ्रेमवर्क को महत्वपूर्ण बनाया वह यह थी कि श्रेष्ठ प्रदर्शक एक साथ तेज़ और स्थिर थे, इस धारणा को उलटते हुए कि गति और सुरक्षा एक दूसरे के विरुद्ध व्यापार करते हैं, और वह खोज अभी भी इस पुस्तक के पास विषय 1.2 के गार्डरेल-युग्मन सिद्धांत का सबसे स्पष्ट काम किया गया उदाहरण है: एक प्रोत्साहित गति मेट्रिक, एक स्थिरता गार्डरेल के साथ जोड़ी गई, वही है जो सर्वश्रेष्ठ-प्रदर्शन करने वाले संगठन वास्तव में करते हैं।

यह पुस्तक जान-बूझकर DORA को इस भाग में अंत में कवर करती है, भाग के आयोजन फ्रेमवर्क के रूप में नहीं। वह स्थान शोध की अस्वीकृति नहीं है, जो वास्तव में कठोर और उपयोग करने लायक़ बना हुआ है। यह एक विशिष्ट, वास्तविक सीमा को दर्शाता है: DORA मापता है कि एक पाइपलाइन कितनी तेज़ी से और कितनी सुरक्षित रूप से चलती है, लेकिन यह मौन है कि पाइपलाइन के माध्यम से क्या चल रहा है। एक टीम उत्कृष्ट DORA संख्याएँ पोस्ट कर सकती है जबकि उसका वास्तविक आउटपुट चुपचाप दोष पुनःकार्य की ओर बह गया है या तकनीकी ऋण और सुरक्षा कार्य को क्षमता से वंचित किया है, एक पैटर्न जिसे विषय 2.1 से 2.4 का फ़्लो फ्रेमवर्क विशेष रूप से उजागर करने के लिए बनाया गया है और DORA नहीं देख सकता। DORA का उपयोग वैसे करें जैसे यह विषय इसे प्रस्तुत करता है: पाइपलाइन तंत्र का एक अच्छी तरह-सत्यापित, संकुचित संदर्भ माप, डिलीवरी स्वास्थ्य की पूरी तस्वीर नहीं।

बड़ी टीमों के लिए, DORA का शेष, वास्तविक मूल्य तुलनीयता है। पाइपलाइन और घटना डेटा से लगातार गणना किया गया एक मेट्रिक एक संगठन को उन अधिकांश क्रॉस-टीम तुलनाओं को परेशान करने वाली सेब-से-संतरे की समस्या के बिना विभिन्न डोमेन में काम करने वाली कई टीमों में डिलीवरी क्षमता की तुलना करने देता है। एंटरप्राइज़ संगठन अभी भी इसका उपयोग प्लेटफ़ॉर्म निवेश को प्राथमिकता देने के लिए करते हैं; सरकारी संगठन अभी भी इसका उपयोग यह प्रदर्शित करने के लिए करते हैं, प्रमाण के साथ, कि एक आधुनिकीकरण कार्यक्रम ने डिलीवरी तंत्र को मापने योग्य रूप से सुधारा। इसे DORA के उचित, सीमित काम के रूप में मानें, और इस भाग में पहले के फ़्लो फ्रेमवर्क विषयों का उपयोग इस व्यापक प्रश्न के लिए करें कि क्या सही चीज़ें बिल्कुल पहुँचाई जा रही हैं।

प्रमुख सिद्धांत

DORA पाइपलाइन को मापता है, इसके माध्यम से बहने वाले मूल्य को नहीं। विषय 2.1 इस अंतर को सीधे नाम देता है; DORA जो नहीं देख सकता उसे देखने के लिए फ़्लो वितरण (विषय 2.3) का उपयोग करें।
गति और स्थिरता को साथ में मापा जाता है, कभी अलग-अलग नहीं। दोनों हिस्सों के बिना एक DORA-सूचित डैशबोर्ड वास्तव में फ्रेमवर्क का उपयोग नहीं कर रहा है।
परिभाषा की सुसंगति कच्ची संख्या से अधिक मायने रखती है। एक लगातार परिभाषित मेट्रिक पर “मध्यम” से “उच्च” प्रदर्शन में जाने वाली एक टीम एक वास्तविक संकेत है; अलग-अलग तरीक़ों से गणना की गई दो टीमों की तुलना नहीं है।
DORA प्रणाली को मापता है, व्यक्तियों को नहीं। इन मेट्रिक्स को व्यक्तिगत इंजीनियरों पर लागू करना फ्रेमवर्क के सांख्यिकीय आधार को तोड़ता है और ठीक उसी चालाकी को आमंत्रित करता है जिसके विरुद्ध विषय 1.2 चेतावनी देता है।
चारों मेट्रिक्स प्रॉक्सी हैं, लक्ष्य नहीं। वे संगठनात्मक प्रदर्शन के साथ सहसंबंधित हैं; वास्तविक डिलीवरी सुधार से अलग, संख्या का ही पीछा करना फ्रेमवर्क के उद्देश्य को विफल कर देता है।

सिफ़ारिशें

पाइपलाइन से डिप्लॉयमेंट फ़्रीक्वेंसी को इंस्ट्रूमेंट करें, केवल उत्पादन रिलीज़ों की गिनती करते हुए

डिप्लॉयमेंट फ़्रीक्वेंसी मापती है कि एक टीम कितनी बार उत्पादन में सफलतापूर्वक रिलीज़ करती है। केवल सफल उत्पादन डिप्लॉयमेंट गिनें, CI/CD पाइपलाइन डेटा से स्वचालित रूप से इंस्ट्रूमेंट किया गया, कभी स्व-रिपोर्ट नहीं। विशेष रूप से प्रतिस्थापन चालाकी के लिए देखें, केवल गिनती बढ़ाने के लिए एक सार्थक परिवर्तन को कई तुच्छ डिप्लॉय में विभाजित करना, गिनती के साथ-साथ डिप्लॉय आकार को ट्रैक करके: बढ़ती गिनती के साथ सिकुड़ता औसत आकार यह होने का सबसे स्पष्ट संकेत है।

पहले कमिट से उत्पादन तक परिवर्तनों के लिए लीड टाइम को इंस्ट्रूमेंट करें

परिवर्तनों के लिए लीड टाइम एक कोड परिवर्तन के पहले कमिट से उत्पादन में इसकी सफल डिप्लॉयमेंट तक के समय को मापता है। तिरछे समय-आधारित डेटा पर विषय 1.6 के मार्गदर्शन का पालन करते हुए, केवल औसत नहीं, माध्यिका और एक उच्च प्रतिशतक दोनों की रिपोर्ट करें, और किसी भी छोर पर परिभाषा बहाव के लिए देखें, जो बिना किसी वास्तविक सुधार के संख्या को बेहतर दिखाता है।

टीमों में तुलना करने से पहले लिखित रूप में चेंज फ़ेल्योर रेट को परिभाषित करें

चेंज फ़ेल्योर रेट उन डिप्लॉयमेंट के प्रतिशत को मापता है जो उपचार, एक रोलबैक, एक हॉटफ़िक्स, या एक घटना की आवश्यकता वाली विफलता कारणित करते हैं। यह चारों में से सुसंगत रूप से परिभाषित करने के लिए सबसे कठिन है, क्योंकि “विफलता” स्वयं-स्पष्ट रूप से वस्तुनिष्ठ नहीं है। टीमों की तुलना करने से पहले एक लिखित परिभाषा पर सहमत हों; इसके बिना, एक स्पष्ट रूप से निष्पक्ष तुलना बुरी तरह गुमराह कर सकती है। बिना किसी अंतर्निहित प्रक्रिया परिवर्तन के संदिग्ध रूप से तेज़ सुधार के लिए देखें, वास्तविक प्रगति की बजाय परिभाषा चालाकी का सबसे स्पष्ट संकेत।

डिप्लॉय घटना से नहीं, पहचान से रिकवरी समय मापें

विफल डिप्लॉयमेंट रिकवरी टाइम मापता है कि एक बार एक डिप्लॉयमेंट विफलता कारणित करने के बाद सेवा को बहाल करने में कितना समय लगता है। घड़ी को पहचान पर शुरू करें, डिप्लॉय घटना पर ही नहीं, ताकि संख्या एक निगरानी अंतर की बजाय वास्तविक रिकवरी देरी को दर्शाए। विशेष रूप से स्वचालित रोलबैक क्षमता में निवेश करें, इस मेट्रिक को समय से पहले एक घटना को हल घोषित करने की बजाय वास्तव में सुधारने का एकल सबसे सामान्य लीवर।

यह निदान करने के लिए DORA नहीं, फ़्लो मेट्रिक्स का उपयोग करें कि एक संख्या क्यों बदली

जब एक DORA मेट्रिक बदलता है, तो अकेले चार संख्याएँ शायद ही कभी बताती हैं क्यों। DORA की सारांश संख्याओं के नीचे निदानात्मक परत के रूप में साइकल-टाइम विघटन (विषय 2.6), फ़्लो लोड (विषय 2.4), और फ़्लो वितरण (विषय 2.3) का उपयोग करें, और कभी एक व्यक्तिगत प्रदर्शन समीक्षा में एक DORA मेट्रिक का उपयोग न करें, इस फ्रेमवर्क का सामना करने वाला एकल सबसे हानिकारक दुरुपयोग।

समझौते: लाभ और हानि

दृष्टिकोण	लाभ	हानि
पूर्ण DORA फ्रेमवर्क, चारों मेट्रिक्स जोड़े गए	शोध-सत्यापित, युग्मन के माध्यम से चालाकी का प्रतिरोध करता है, निष्पक्ष क्रॉस-टीम तुलना सक्षम करता है	किस प्रकार का मूल्य पहुँचाया जा रहा है इस पर मौन; उस तस्वीर के लिए फ़्लो फ्रेमवर्क की साथ में आवश्यकता
इस भाग के एकमात्र आयोजन मेट्रिक सेट के रूप में DORA	सरल, अधिकांश इंजीनियरिंग नेताओं के लिए परिचित	मूल्य-मिश्रण प्रश्न को पूरी तरह चूकता है, यह पुस्तक का इसे यहाँ अप्राथमिकता देने का कारण
एक साथ DORA और फ़्लो फ्रेमवर्क	पाइपलाइन तंत्र और मूल्य मिश्रण दोनों दृश्यमान	एक की बजाय दो मेट्रिक शब्दावली बनाए रखने की आवश्यकता
व्यक्तिगत स्तर पर DORA लागू	कुछ प्रबंधकों को सीधे कार्रवाई योग्य महसूस होता है	फ्रेमवर्क की सांख्यिकीय वैधता को तोड़ता है; मज़बूत गुडहार्ट के नियम के प्रति उजागर

केंद्रीय तनाव है यांत्रिक कठोरता बनाम व्यावसायिक पठनीयता। DORA के चार मेट्रिक्स सटीक रूप से परिभाषित और शोध-सत्यापित हैं, जो उन्हें टीमों में पाइपलाइन प्रदर्शन की तुलना के लिए उत्कृष्ट बनाता है, लेकिन वही सटीकता संकुचित रूप से पाइपलाइन तक ही सीमित है और यह कुछ नहीं बताती कि इसके माध्यम से सही काम बह रहा है या नहीं। तनाव को DORA को पाइपलाइन स्वास्थ्य के लिए एक संदर्भ परत के रूप में रखकर हल करें, इस पुस्तक की संरचना में विषय 2.10 का उचित स्थान, मूल्य मिश्रण के व्यावसायिक-सामना करने वाले प्रश्न के लिए इस भाग में पहले के फ़्लो फ्रेमवर्क विषयों का उपयोग करते हुए, DORA से एक ऐसे प्रश्न का उत्तर देने की कोशिश करने की बजाय जिसके लिए यह कभी डिज़ाइन नहीं किया गया था।

अपनी टीम के साथ चर्चा करने के प्रश्न

क्या हम पाइपलाइन से सभी चार DORA मेट्रिक्स को इंस्ट्रूमेंट कर रहे हैं, या उनमें से कुछ स्व-रिपोर्ट किए गए अनुमान हैं? एक फ्रेमवर्क जो वस्तुनिष्ठ, शोध-सत्यापित माप पर बना है वह अपने अधिकांश मूल्य को उसी क्षण खो देता है जब एक संख्या एक सबसे अच्छा अनुमान बन जाती है। हर मेट्रिक के वास्तविक डेटा स्रोत (विषय 1.5) का ऑडिट करें।
क्या हम DORA मेट्रिक्स का उपयोग करके जिन सभी टीमों की तुलना करते हैं वे डिप्लॉयमेंट, परिवर्तन, और विफलता की समान परिभाषाएँ साझा करती हैं? अलग-अलग परिभाषाओं का उपयोग करने वाली टीमों के बीच एक तुलना वास्तव में एक तुलना नहीं है, और सापेक्ष प्रदर्शन के बारे में अनुचित निर्णय उत्पन्न कर सकती है।
क्या हमारे संगठन में किसी ने कभी एक व्यक्तिगत प्रदर्शन समीक्षा में एक DORA मेट्रिक का उपयोग किया है, औपचारिक रूप से या अनौपचारिक रूप से? यह फ्रेमवर्क का एकल सबसे हानिकारक दुरुपयोग है और अक्सर चुपचाप होता है। सीधे पूछें और एक असहज लेकिन आवश्यक उत्तर के लिए तैयार रहें।
क्या हमारी DORA संख्याएँ उत्कृष्ट दिख सकती हैं जबकि हमारा फ़्लो वितरण (विषय 2.3) चुपचाप पुनःकार्य की ओर या विशेषताओं से दूर बह गया हो? यह ठीक वह अंतर है जिसे अकेला DORA नहीं देख सकता। दोनों सेट की संख्याओं को साथ में खींचें और जाँचें कि क्या वे एक सुसंगत कहानी बताती हैं।
जब हमारे DORA मेट्रिक्स में से एक बदलता है, तो क्या हमारे पास यह समझाने के लिए फ़्लो-मेट्रिक निदान हैं कि क्यों? अकेली एक DORA संख्या आपको बताती है कि कुछ बदला, क्या नहीं। जाँचें कि क्या आपकी टीमें डेटा के साथ “इस महीने लीड टाइम क्यों बढ़ा” का उत्तर दे सकती हैं, या केवल अटकल के साथ।
यदि हमने जान-बूझकर हर एक के साथ चालाकी करने की कोशिश की तो हमारी चार DORA संख्याएँ कैसे बदलेंगी, और क्या हम नोटिस करेंगे? डिप्लॉयमेंट फ़्रीक्वेंसी, लीड टाइम, चेंज फ़ेल्योर रेट, और रिकवरी टाइम में से एक-एक करके गुज़रें, इस विशिष्ट फ्रेमवर्क पर विषय 1.2 के मूल अनुशासन का व्यावहारिक अनुप्रयोग।

क्षेत्र दृष्टिकोण

स्टार्टअप। DORA की गति मेट्रिक्स आमतौर पर एक छोटी टीम के लिए स्वाभाविक रूप से आती हैं जो पहले से बार-बार डिप्लॉय कर रही है; कठिन अनुशासन यह है कि चेंज फ़ेल्योर रेट और रिकवरी टाइम को ईमानदारी से इंस्ट्रूमेंट किया जाए बजाय यह मान लेने के कि स्थिरता है क्योंकि अभी तक कुछ बुरी तरह टूटा नहीं है। शुरुआत में DORA को एक अनौपचारिक फ़्लो-आइटम विभाजन (विषय 2.2) के साथ जोड़ना अकेले पाइपलाइन गति के इर्द-गिर्द डिलीवरी स्वास्थ्य की एक झूठी भावना बनाने से बचाता है।

छोटा व्यवसाय। अधिकांश आधुनिक CI/CD और वर्ज़न कंट्रोल प्लेटफ़ॉर्म न्यूनतम सेटअप के साथ डिप्लॉयमेंट फ़्रीक्वेंसी और लीड टाइम डेटा निर्यात करते हैं; चेंज फ़ेल्योर रेट के लिए डिप्लॉय को घटनाओं से जोड़ना आमतौर पर अधिक मैनुअल प्रयास की आवश्यकता रखता है। दो गति मेट्रिक्स से शुरू करें और जैसे ही एक अनौपचारिक घटना लॉग मौजूद हो जिससे जोड़ा जा सके तो स्थिरता ट्रैकिंग जोड़ें।

एंटरप्राइज़। इस पैमाने पर DORA का सबसे बड़ा शेष मूल्य प्लेटफ़ॉर्म निवेश निर्णयों के लिए निष्पक्ष, सुसंगत क्रॉस-टीम तुलना है। परिभाषाओं को संगठन-व्यापी मानकीकृत करें (विषय 1.4), केंद्रीय रूप से इंस्ट्रूमेंटेशन को स्वचालित करें, और हर DORA रिपोर्ट को एक फ़्लो वितरण दृश्य के साथ जोड़ें ताकि नेतृत्व पाइपलाइन गति और मूल्य मिश्रण दोनों को एक साथ देखे, एक को बिना दूसरे के नहीं।

सरकार। DORA मेट्रिक्स अभी भी एक आधुनिकीकरण कार्यक्रम को निगरानी निकायों को डिलीवरी-तंत्र सुधार प्रदर्शित करने का एक बचाव योग्य, शोध-समर्थित तरीक़ा देते हैं। चारों मेट्रिक्स को साथ में रिपोर्ट करें, कभी चापलूसी वाले आधे को चुनकर न रखें, और उन्हें फ़्लो वितरण के साथ जोड़ें ताकि रिपोर्ट इस कठिन, अधिक महत्वपूर्ण प्रश्न का भी उत्तर दे कि तेज़ पाइपलाइन वास्तव में क्या पहुँचा रही है।

उदाहरण

एंटरप्राइज़। एक बड़ी दूरसंचार कंपनी के प्लेटफ़ॉर्म आधुनिकीकरण कार्यक्रम ने चालीस उत्पाद टीमों में लगातार सभी चार DORA मेट्रिक्स को इंस्ट्रूमेंट किया और अठारह महीनों में निम्न-प्रदर्शक से उच्च-प्रदर्शक बैंड में एक वास्तविक बदलाव दिखाया, डिप्लॉयमेंट फ़्रीक्वेंसी लगभग दस गुना बढ़ी, लीड टाइम हफ़्तों से दिनों तक गिरा, चेंज फ़ेल्योर रेट स्थिर रहा। एक बोर्ड सदस्य ने, प्रस्तुति की समीक्षा करते हुए, एक ऐसा प्रश्न पूछा जिसका अकेली DORA संख्याएँ उत्तर नहीं दे सकती थीं: उस तेज़ डिलीवरी का कितना हिस्सा नया ग्राहक मूल्य था बनाम पुनःकार्य। इंजीनियरिंग संगठन के पास तब तक कोई उत्तर नहीं था जब तक इसने अगले चौथाई फ़्लो-आइटम वर्गीकरण नहीं अपनाया, जिसने दिखाया कि फ़ीचर कार्य वास्तव में कुल आउटपुट के हिस्से के रूप में गिर गया था भले ही DORA की गति संख्याएँ सुधरीं, एक खोज जिसने कार्यक्रम की अगले-वर्ष की प्राथमिकताओं को फिर से आकार दिया।

सरकार। एक राज्य सरकार के IT आधुनिकीकरण कार्यालय ने कई प्रतिस्पर्धी विक्रेता टीमों की डिलीवरी क्षमता की तुलना करने के लिए DORA मेट्रिक्स को एक अनुबंध शर्त के रूप में अपनाया, फ्रेमवर्क की तुलनीयता का एक प्रभावी उपयोग। एक विक्रेता की उच्च डिप्लॉयमेंट फ़्रीक्वेंसी को उजागर किया गया, एक बार जब इसके साथ चेंज फ़ेल्योर रेट की आवश्यकता हुई, तो यह इसके साथियों से लगभग तीन गुना अधिक विफलता दर से सहसंबंधित थी, जानकारी जिसने सीधे कार्यालय के अनुबंध नवीनीकरण निर्णय को सूचित किया। कार्यालय ने बाद में इन्हीं अनुबंधों में एक फ़्लो-वितरण आवश्यकता जोड़ी यह खोजने के बाद कि सर्वश्रेष्ठ DORA संख्याओं वाला विक्रेता वही भी था जो अनुबंध द्वारा विशेष रूप से आवश्यक सुरक्षा उपचार कार्य पर क्षमता का सबसे छोटा हिस्सा ख़र्च कर रहा था।

व्यावसायिक तर्क: प्रेरणाएँ, ROI, और TCO

DORA को अच्छी तरह अपनाने का प्रतिफल, इसके उचित दायरे के भीतर, “क्या हमारी डिलीवरी पाइपलाइन तेज़ और सुरक्षित हो रही है” का एक बचाव योग्य, प्रमाण-आधारित उत्तर है, जो आत्मविश्वास से उत्तर देने के लिए इंजीनियरिंग में अधिक व्यवहार्य प्रश्नों में से एक बना हुआ है। वह उत्तर वास्तविक संख्याओं के साथ प्लेटफ़ॉर्म और टूलिंग निवेश को न्यायोचित ठहराता है, और नेतृत्व को एक निष्पक्ष, सुसंगत आधार पर प्रतिस्पर्धी निवेशों की तुलना करने देता है, ठीक जैसा यह हमेशा से करता आया है।

कुल स्वामित्व लागत चेंज फ़ेल्योर रेट और रिकवरी टाइम के लिए डिप्लॉय घटनाओं को घटना रिकॉर्ड से जोड़ने का एकीकरण कार्य है, एक बड़े, विषम टूलिंग परिदृश्य में गैर-तुच्छ। इस भाग में पहले के फ़्लो फ्रेमवर्क विषयों के साथ DORA को जोड़ने की अतिरिक्त लागत तुलनात्मक रूप से छोटी है, क्योंकि फ़्लो-आइटम वर्गीकरण मौजूदा काम पर परतबद्ध एक रिपोर्टिंग परंपरा है, एक समानांतर माप प्रणाली नहीं, और प्रतिफल, ठीक उसी मूल्य-मिश्रण अंधे स्थान को पकड़ना जिसे ऊपर का दूरसंचार उदाहरण दर्शाता है, उस मामूली अतिरिक्त निवेश के पूरी तरह लायक़ है।

विरोधी-पैटर्न और नुक़सान

DORA को डिलीवरी स्वास्थ्य की पूरी तस्वीर मानना: वह चालाकी वेक्टर जिसका मुक़ाबला करने के लिए इस विषय का स्थान डिज़ाइन किया गया है। एक संगठन वास्तव में उत्कृष्ट DORA संख्याएँ प्रस्तुत कर सकता है, तेज़, बार-बार, स्थिर डिप्लॉयमेंट, जबकि इसका वास्तविक पहुँचाया गया मूल्य चुपचाप पुनःकार्य की ओर या विशेषताओं से दूर स्थानांतरित हो गया है, और अकेले DORA के चार मेट्रिक्स कभी उस बदलाव को उजागर नहीं करेंगे क्योंकि उन्हें कभी इसे मापने के लिए डिज़ाइन नहीं किया गया था। गार्डरेल हर DORA रिपोर्ट को फ़्लो वितरण (विषय 2.3) के साथ जोड़ना है, ताकि काम के ग़लत मिश्रण को पहुँचाने वाली एक तेज़, स्थिर पाइपलाइन वास्तविक डिलीवरी स्वास्थ्य के रूप में ग़लत समझे जाने की बजाय दृश्यमान हो।
केवल DORA के गति आधे की रिपोर्ट करना: फ्रेमवर्क की केंद्रीय खोज को विफल करता है कि उच्च प्रदर्शकों में गति और स्थिरता एक साथ चलते हैं।
व्यक्तिगत प्रदर्शन समीक्षाओं में DORA मेट्रिक्स का उपयोग करना: फ्रेमवर्क की सांख्यिकीय वैधता को तोड़ता है और मज़बूत चालाकी को आमंत्रित करता है।
असंगत परिभाषाओं वाली टीमों की तुलना करना: ऐसी तुलनाएँ उत्पन्न करता है जो निष्पक्ष दिखती हैं लेकिन नहीं हैं।
पाइपलाइन-इंस्ट्रूमेंट की गई संख्याओं की बजाय स्व-रिपोर्ट की गई DORA संख्याएँ: ठीक उस पूर्वाग्रह को पेश करता है जिसे समाप्त करने के लिए फ्रेमवर्क डिज़ाइन किया गया था।
DORA को सारांश की बजाय निदानात्मक मानना: एक टीम को इसके नीचे फ़्लो-मेट्रिक परत के बिना यह समझाने में असमर्थ छोड़ देता है कि एक संख्या क्यों बदली।

परिपक्वता मॉडल

स्तर 1, आरंभ: DORA मेट्रिक्स, यदि बिल्कुल भी ट्रैक की जाती हैं, स्व-रिपोर्ट की जाती हैं, असंगत रूप से परिभाषित की जाती हैं, और कभी फ़्लो डेटा के साथ जोड़ी नहीं जातीं।
स्तर 2, विकास: कुछ टीमें पाइपलाइन से DORA को इंस्ट्रूमेंट करती हैं, लेकिन परिभाषाएँ अलग-अलग होती हैं और जाँच के विरुद्ध कोई फ़्लो-वितरण समकक्ष नहीं है।
स्तर 3, मानकीकरण: सभी चार DORA मेट्रिक्स को पाइपलाइन और घटना डेटा से लगातार इंस्ट्रूमेंट किया जाता है, साझा परिभाषाओं के साथ, और नियमित रूप से फ़्लो वितरण के साथ दिखाया जाता है।
स्तर 4, प्रबंधन: संगठन के हर स्तर पर DORA और फ़्लो मेट्रिक्स को एक मानक युग्मन के रूप में साथ में समीक्षा की जाती है, और DORA का कभी व्यक्तिगत मूल्यांकन के लिए उपयोग नहीं किया जाता।
स्तर 5, संयोजन: संगठन विशिष्ट मामलों की ओर इशारा कर सकता है जहाँ फ़्लो वितरण ने एक मूल्य-मिश्रण समस्या को पकड़ा जिसे अकेली उत्कृष्ट DORA संख्याओं ने छुपाया था, और हर एक द्वारा उत्तर दिए गए अलग-अलग प्रश्नों के लिए जान-बूझकर दोनों फ्रेमवर्क का उपयोग करता है।

चर्चा के लिए विचार

हमारे चार DORA मेट्रिक्स वर्तमान में हमें प्रदर्शन-स्तर स्पेक्ट्रम पर ईमानदारी से कहाँ रखते हैं?
क्या हमारी DORA संख्याएँ उत्कृष्ट दिख सकती हैं जबकि हमारा फ़्लो वितरण चुपचाप बहा हो? क्या हमने कभी जाँचा है?
क्या किसी ने कभी एक व्यक्ति को आँकने के लिए एक DORA संख्या का उपयोग किया है, यहाँ तक कि अनौपचारिक रूप से भी?
यदि एक प्रतिस्पर्धी ने अपनी DORA संख्याएँ प्रकाशित कीं, तो क्या हमारी अनुकूल रूप से तुलना करेंगी, और क्या वह तुलना वास्तव में हमें बताएगी कि कौन अधिक वास्तविक मूल्य पहुँचा रहा है?

मुख्य निष्कर्ष

DORA के चार मेट्रिक्स, डिप्लॉयमेंट फ़्रीक्वेंसी, लीड टाइम, चेंज फ़ेल्योर रेट, और रिकवरी टाइम, डिज़ाइन द्वारा गति को स्थिरता के साथ जोड़ते हैं और वास्तव में शोध-सत्यापित बने रहते हैं।
यह पुस्तक DORA को इस भाग में अंत में रखती है क्योंकि यह पाइपलाइन को मापती है, इसके माध्यम से बहने वाले मूल्य को नहीं; अधिक पूर्ण तस्वीर के लिए इसे फ़्लो वितरण (विषय 2.3) के साथ जोड़ें।
विषय का केंद्रीय चालाकी वेक्टर है उत्कृष्ट DORA संख्याओं को पूर्ण डिलीवरी स्वास्थ्य समझने की ग़लती; गार्डरेल हमेशा फ़्लो वितरण के साथ DORA की रिपोर्ट करना है।
कभी व्यक्तिगत प्रदर्शन समीक्षाओं में DORA मेट्रिक्स का उपयोग न करें; फ्रेमवर्क की वैधता प्रणाली-स्तरीय, व्यक्तिगत नहीं, माप पर निर्भर करती है।
जब उनमें से एक बदलता है तो DORA की सारांश संख्याओं के नीचे फ़्लो मेट्रिक्स को निदानात्मक परत के रूप में उपयोग करें।

संदर्भ और आगे पढ़ने के लिए

Forsgren, Nicole, Jez Humble, and Gene Kim. Accelerate: The Science of Lean Software and DevOps. IT Revolution Press, 2018.
Google Cloud. DevOps Research and Assessment programme. dora.dev.
Kim, Gene, Kevin Behr, and George Spafford. The Phoenix Project. IT Revolution Press, 2013.
Kim, Gene, Jez Humble, Patrick Debois, and John Willis. The DevOps Handbook. IT Revolution Press, 2016.
Kersten, Mik. Project to Product: How to Survive and Thrive in the Age of Digital Disruption with the Flow Framework. IT Revolution Press, 2018.