১.৬ প্রকৌশল মেট্রিকের জন্য পরিসংখ্যানগত সাক্ষরতা

সারসংক্ষেপ এবং প্রেরণা

একটি মেট্রিক প্রোগ্রাম ভালোভাবে চালাতে আপনার একটি পরিসংখ্যান ডিগ্রি প্রয়োজন নেই, কিন্তু আপনার কিছু নির্দিষ্ট, সাধারণ ভুল এড়ানো প্রয়োজন যা অন্যথায় ভালোভাবে-গভর্নড, ভালোভাবে-ইনস্ট্রুমেন্টেড মেট্রিককে সক্রিয়ভাবে বিভ্রান্তিকর করে তোলে। একটি দল সবকিছু সঠিকভাবে করতে পারে, একটি স্পষ্ট সিদ্ধান্তের নাম দিতে পারে, গুডহার্টের সূত্র এড়াতে পারে, ফলাফলের দিকে ভারযুক্ত করতে পারে, মালিকানা পরিচালনা করতে পারে, নির্ভরযোগ্যভাবে ইনস্ট্রুমেন্ট করতে পারে, এবং তবুও ভুল সিদ্ধান্তে পৌঁছাতে পারে কারণ এটি এমন জায়গায় একটি গড় পড়েছে যেখানে এর একটি পার্সেন্টাইল প্রয়োজন ছিল, শোরগোলকে একটি প্রবণতা ভেবে ভুল করেছে, বা একটি কারণ হিসেবে সাজানো একটি কাকতালীয় ঘটনার প্রতি পড়ে গেছে। এই বিষয়টি সেই ন্যূনতম পরিসংখ্যানগত বিচার যা এই বই ধরে নেয় পরবর্তী প্রতিটি বিষয়ের পাঠকের ইতিমধ্যে আছে।

মূল সমস্যা হলো প্রকৌশল মেট্রিক সাধারণত শোরগোলপূর্ণ, তির্যক, এবং আনুষ্ঠানিক পরিসংখ্যানের মানদণ্ডে ছোট-নমুনা। একটি একক দলের সাপ্তাহিক স্থাপনা গণনা একটি মসৃণ ঘণ্টা বক্ররেখা নয়; এটি মাঝে মাঝে বড় ব্যতিক্রম (একটি বড় রিলিজ, একটি ঘটনা-চালিত রোলব্যাক স্প্রি) সহ হাতেগোনা কয়েকটি উপাত্ত বিন্দু। বড়, সুশৃঙ্খল উপাত্তসেটের জন্য তৈরি সরল অন্তর্দৃষ্টি এই ধরনের উপাত্তে প্রয়োগ করলে নিয়মিতভাবে আত্মবিশ্বাসী, ভুল সিদ্ধান্ত উৎপন্ন হয়। কখন একটি সংখ্যা বিশ্বাস করার জন্য খুব শোরগোলপূর্ণ তা চিহ্নিত করতে শেখা, কখন একটি গড় আপনার কাছে মিথ্যা বলছে, এবং কখন একসাথে সরে যাওয়া দুটি জিনিস কার্যকারণ সম্পর্কে কিছুই বলে না, এটি ঐচ্ছিক কঠোরতা নয়, এটি একটি প্রতিষ্ঠানকে সত্যিকারের কিছু শেখায় এমন একটি মেট্রিক প্রোগ্রামকে এমন একটি থেকে আলাদা করে যা যুক্তিসঙ্গত-শোনায় এমন এবং মিথ্যা কিছু শেখায়।

এন্টারপ্রাইজ ও সরকারি মাত্রায়, পরিসংখ্যানগত ভুল সমষ্টিত হয় কারণ একটি বিভ্রান্তিকর সিদ্ধান্ত, একবার নেতৃত্ব দ্বারা গৃহীত হলে, কেউ অন্তর্নিহিত বিশ্লেষণ পুনরায় পরীক্ষা করার কথা ভাবার আগেই অনেক দল জুড়ে কার্যকর হয়। দুটি বিভাগের মধ্যে, বা একটি প্রধান পুনর্গঠনের আগে ও পরে একটি পরিসংখ্যানগতভাবে অজ্ঞ তুলনা, শুধু শোরগোল বা কেউ নিয়ন্ত্রণ করেনি এমন একটি বিভ্রান্তিকর চলক ছাড়া আর কিছুর ভিত্তিতে বছরের পর বছর সম্পদায়ন সিদ্ধান্ত আকার দিতে পারে। এই বিষয়টি সেই ব্যর্থতা কম সম্ভাব্য করার জন্য বিদ্যমান।

মূল নীতিসমূহ

• একটি মধ্যক বা পার্সেন্টাইল সাধারণত একটি গড়ের চেয়ে বেশি বলে। প্রকৌশল উপাত্ত নিয়মিতভাবে ব্যতিক্রম দ্বারা তির্যক হয় যা গড় শোষণ করে এবং পার্সেন্টাইল করে না।
• ছোট নমুনা শোরগোলপূর্ণ সংখ্যা উৎপন্ন করে। হাতেগোনা কয়েকটি ঘটনা থেকে গণনা করা একটি শতাংশ প্রকৃত পরিবর্তনের সাথে কোনো সম্পর্ক নেই এমন কারণে বন্যভাবে দোলে।
• গড়ে প্রত্যাবর্তন মানুষকে ক্রমাগত বোকা বানায়। একটি অস্বাভাবিকভাবে ভালো বা খারাপ পাঠ কোনো হস্তক্ষেপ সহ বা ছাড়াই একটি আরও স্বাভাবিক পাঠ দ্বারা অনুসরণ করা হতে থাকে।
• সহ-ঘটন কার্যকারণ নয়, এবং বিভ্রান্তিকর চলক সর্বত্র। একসাথে সরে যাওয়া দুটি মেট্রিক একে অপরকে চালিত করার বদলে একটি লুকানো তৃতীয় কারণ ভাগ করতে পারে।
• একটি নিয়ন্ত্রণ চার্ট একটি একক আগে-এবং-পরে তুলনাকে হারায়। তারতম্যের স্বাভাবিক পরিসীমা দেখা হলো যা আপনাকে শোরগোল থেকে একটি প্রকৃত সরণ বলতে দেয়।

সুপারিশসমূহ

তির্যক উপাত্তের জন্য ডিফল্টভাবে মধ্যক ও পার্সেন্টাইল ব্যবহার করুন

প্রকৌশল সময়-ভিত্তিক মেট্রিক, অগ্রগতির সময়, ঘটনা পুনরুদ্ধার সময়, প্রতিক্রিয়া বিলম্ব, প্রায় সবসময় ডান-তির্যক: বেশিরভাগ মান নিম্নে গুচ্ছবদ্ধ হয়, মাঝে মাঝে বড় ব্যতিক্রমের একটি দীর্ঘ লেজসহ। সেই লেজ দ্বারা টানা একটি গড় এমন একটি চিত্র আঁকতে পারে যা কোনো সাধারণ কেস প্রকৃতপক্ষে দেখায় না। ৯০তম বা ৯৫তম পার্সেন্টাইলের (যে মানের নিচে ৯০% বা ৯৫% পর্যবেক্ষণ পড়ে) পাশাপাশি মধ্যক (মধ্যম মান, যেখানে অর্ধেক পর্যবেক্ষণ উপরে এবং অর্ধেক নিচে) প্রতিবেদন করুন, যা একসাথে সাধারণ কেস এবং সবচেয়ে খারাপ-কেসের লেজ উভয়ই দেখায় যা একটি দল প্রকৃতপক্ষে অভিজ্ঞতা করে। সঙ্গী software-engineering-guide বইয়ের KPI বিষয়, এবং এই বইয়ের পর্ব ২-এর প্রতিটি সরবরাহ মেট্রিক বিষয়, এই অভ্যাসটি সর্বত্র ধরে নেয়।

কখন একটি নমুনা বিশ্বাস করার জন্য খুব ছোট তা জানুন

একটি ধীর সপ্তাহে তিনটি স্থাপনা থেকে গণনা করা একটি পরিবর্তনের ব্যর্থতার হার একটি অর্থপূর্ণ সংকেত নয়; একটি একক ব্যর্থতা শতাংশকে রাতারাতি ০% থেকে ৩৩%-এ সরিয়ে দেয় এমন কারণে যা অন্তর্নিহিত ঝুঁকির সাথে কোনো সম্পর্ক নাও থাকতে পারে। একটি শতাংশ-ভিত্তিক মেট্রিকে প্রতিক্রিয়া দেখানোর আগে, অন্তর্নিহিত গণনা পরীক্ষা করুন। একটি ব্যবহারিক নিয়ম হিসেবে, প্রায় বিশ থেকে ত্রিশটির কম অন্তর্নিহিত ঘটনা থেকে গণনা করা একটি হারকে শোরগোলপূর্ণ এবং একটি সিদ্ধান্তে পৌঁছানোর আগে একটি দীর্ঘতর পর্যবেক্ষণ উইন্ডো প্রয়োজন হিসেবে বিবেচনা করুন, এবং একটি স্থিতিশীল বড়-নমুনা শতাংশের সাথে একই আত্মবিশ্বাসের সাথে একটি অস্থির ছোট-নমুনা শতাংশ উপস্থাপন করার বদলে ড্যাশবোর্ডে স্পষ্টভাবে তা বলুন।

একটি হস্তক্ষেপকে কৃতিত্ব দেওয়ার আগে গড়ে প্রত্যাবর্তনের জন্য নজর রাখুন

যদি একটি দলের ঘটনার জন্য সবচেয়ে খারাপ-সপ্তাহ নেতৃত্বের মনোযোগ এবং একটি পরবর্তী উন্নতি দ্বারা অনুসরণ করা হয়, হস্তক্ষেপকে কৃতিত্ব দেওয়া প্রলুব্ধকর। প্রায়ই, সেই উন্নতির কিছু যেভাবেই ঘটত, কারণ একটি অস্বাভাবিকভাবে চরম পাঠ একটি পরিসংখ্যানগত নিদর্শন হিসেবে বিশুদ্ধভাবে একটি আরও সাধারণ পাঠ দ্বারা অনুসরণ করা হতে থাকে, একটি ঘটনা যাকে গড়ে প্রত্যাবর্তন বলা হয়। মনোযোগ ট্রিগার করা একক চরম উপাত্ত বিন্দুর বদলে একটি দীর্ঘতর ঐতিহাসিক বেসলাইনের বিরুদ্ধে তুলনা করে এবং কোনো নির্দিষ্ট কর্মের কাছে যে কোনো পর্যবেক্ষিত উন্নতির কতটা দায়ী করতে হবে তা নিয়ে যথাযথভাবে নম্র হয়ে এর বিরুদ্ধে রক্ষা করুন।

একটি মেট্রিক একটি ফলাফল সৃষ্টি করেছে বলে দাবি করার আগে বিভ্রান্তিকর চলকের জন্য দেখুন

যখন দুটি মেট্রিক একসাথে সরে, স্থাপনার ফ্রিকোয়েন্সি গ্রাহক সন্তুষ্টির পাশাপাশি বাড়ছে, একটি বিভ্রান্তিকর চলক বিবেচনা করার আগে একটিকে অন্যটির কারণ দাবি করার প্রতিক্রিয়া প্রতিরোধ করুন: উভয়কে চালিত করা একটি লুকানো তৃতীয় কারণ। একটি নতুন বৈশিষ্ট্য উৎক্ষেপণ স্বাধীনভাবে স্থাপনা ফ্রিকোয়েন্সি (আরও অনুসরণী সংশোধন) এবং সন্তুষ্টি (বৈশিষ্ট্যটি নিজেই) উভয়কেই বাড়াতে পারে, দুটি মেট্রিকের মধ্যে কোনো কার্যকারণ সংযোগ ছাড়াই। একটি সহ-ঘটনকে কার্যকারণের প্রমাণ হিসেবে উপস্থাপন করার আগে, সক্রিয়ভাবে জিজ্ঞাসা করুন একই সময়ে আর কী পরিবর্তিত হয়েছে যা উভয় নড়াচড়াকে ব্যাখ্যা করতে পারে।

একটি একক আগে-এবং-পরে লুকচিত্রের বদলে একটি নিয়ন্ত্রণ চার্ট ব্যবহার করুন

একটি নিয়ন্ত্রণ চার্ট সময়ের সাথে একটি মেট্রিক প্লট করে এর তারতম্যের স্বাভাবিক পরিসীমা স্পষ্টভাবে দেখিয়ে, সাধারণত একটি কেন্দ্রীয় গড়ের চারপাশে ব্যান্ড হিসেবে। এটি আপনাকে একটি প্রকৃত সরণ, স্বাভাবিক পরিসীমার বাইরে একটি উপাত্ত বিন্দু বা টেকসই চালান, সাধারণ শোরগোল থেকে আলাদা করতে দেয় যা একটি একক আগে-এবং-পরে তুলনা আলাদা করতে পারে না। “পরিবর্তনের পরে সংখ্যাটি উন্নত হয়েছে” ঘোষণা করার আগে, স্বাভাবিক তারতম্য কেমন দেখায় তা দেখতে যথেষ্ট ঐতিহাসিক উপাত্ত প্লট করুন, এবং পরিবর্তন-পরবর্তী পাঠটি প্রকৃতপক্ষে এর বাইরে পড়ে কিনা তা পরীক্ষা করুন।

মূল্যবিচার: ভালো ও মন্দ দিক

পদ্ধতি	ভালো দিক	মন্দ দিক
গড়	সহজ, পরিচিত, গণনা করা সহজ	তির্যক প্রকৌশল উপাত্তে ব্যতিক্রম দ্বারা বিকৃত
মধ্যক ও পার্সেন্টাইল	ব্যতিক্রমের প্রতি দৃঢ়, সাধারণ কেস ও লেজ একসাথে দেখায়	অ-প্রযুক্তিগত দর্শকদের কাছে সামান্য কম পরিচিত
একক আগে-এবং-পরে তুলনা	দ্রুত, স্বজ্ঞাত, উপস্থাপন করা সহজ	গড়ে প্রত্যাবর্তন ও শোরগোলের কাছে দুর্বল
নিয়ন্ত্রণ চার্ট ও দীর্ঘতর বেসলাইন	নির্ভরযোগ্যভাবে প্রকৃত সরণকে শোরগোল থেকে আলাদা করে	আরও ঐতিহাসিক উপাত্ত এবং একটি অ-প্রযুক্তিগত দর্শকদের কাছে আরও ব্যাখ্যা প্রয়োজন

কেন্দ্রীয় টানাপোড়েন হলো সরলতা বনাম কঠোরতা। গড় এবং একক আগে-এবং-পরে তুলনা গণনা ও ব্যাখ্যা করা সহজ, যা ঠিক কেন তারা নৈমিত্তিক প্রতিবেদনে প্রাধান্য পায়, কিন্তু তারা এই বইয়ের মেট্রিক উৎপন্ন করে এমন ধরনের শোরগোলপূর্ণ, তির্যক উপাত্তে একটি আত্মবিশ্বাসী, ভুল সিদ্ধান্ত উৎপন্ন করার সবচেয়ে সম্ভাব্য দুটি কৌশলও। প্রকৃত পরিণতিসহ যে কোনো সিদ্ধান্তের জন্য আরও কঠোর কৌশল, মধ্যক, পার্সেন্টাইল, এবং নিয়ন্ত্রণ চার্টে ডিফল্ট করে, এবং কম-বাজির, অনুসন্ধানমূলক দৃষ্টিভঙ্গির জন্য সহজতর কৌশল সংরক্ষণ করে যেখানে একটি ভুল পাঠ সামান্য খরচ করে এটি সমাধান করুন।

আপনার দলের সাথে আলোচনার প্রশ্ন

১. আমাদের ড্যাশবোর্ড টাইলের কোনগুলো একটি গড় প্রতিবেদন করে যেখানে একটি মধ্যক বা পার্সেন্টাইল একটি সত্যতর গল্প বলবে? সময়-ভিত্তিক প্রকৌশল মেট্রিক প্রায় সবসময় তির্যক, এবং তির্যক উপাত্তে একটি গড় ঠিক দেখাতে পারে যখন সাধারণ কেস, বা সবচেয়ে খারাপ-কেসের লেজ, সম্পূর্ণ ভিন্ন গল্প বলে। এই প্রতিস্থাপনের জন্য নির্দিষ্টভাবে আপনার সময়-ভিত্তিক টাইল নিরীক্ষা করুন।

২. আমাদের শতাংশ-ভিত্তিক মেট্রিকের পেছনের অন্তর্নিহিত নমুনা কত ছোট, এবং আমরা কি দশটি ঘটনা থেকে একটি মেট্রিককে একই আত্মবিশ্বাসের সাথে বিবেচনা করি যেমন হাজার থেকে একটিকে? একটি অস্থির ছোট-নমুনা হার এর অন্তর্নিহিত গণনা ছাড়া উপস্থাপিত শোরগোলের প্রতি অতিরিক্ত প্রতিক্রিয়াকে আমন্ত্রণ জানায়। এই ফাঁকের জন্য আপনার পরিবর্তন-ব্যর্থতা-হার এবং অনুরূপ শতাংশ টাইল পরীক্ষা করুন।

৩. আমরা কি কখনও এমন একটি উন্নতির জন্য একটি হস্তক্ষেপকে কৃতিত্ব দিয়েছি যা গড়ে প্রত্যাবর্তন যাইহোক উৎপন্ন করত? এটি করা সবচেয়ে সহজ পরিসংখ্যানগত ভুলগুলোর একটি এবং ঘটনার পরে লক্ষ্য করা সবচেয়ে কঠিন একটি, কারণ হস্তক্ষেপ এবং উন্নতি প্রকৃতপক্ষে সেই ক্রমে ঘটেছিল। একটি সাম্প্রতিক “আমরা এটি ঠিক করেছি” গল্পের দিকে ফিরে তাকান এবং সৎভাবে জিজ্ঞাসা করুন বেসলাইন তুলনাটি এটি বাদ দেওয়ার জন্য যথেষ্ট দীর্ঘ ছিল কিনা।

৪. আমরা কোথায় একটি বিভ্রান্তিকর চলক পরীক্ষা না করেই ধরে নিয়েছি একটি মেট্রিক আরেকটির কারণ? একসাথে সরে যাওয়া দুটি জিনিস সাধারণ; একটি অন্যটির কারণ একটি শক্তিশালী দাবি যার আরও প্রমাণ প্রয়োজন। আপনার দল বর্তমানে বিশ্বাস করে এমন একটি সহ-ঘটন বেছে নিন এবং একটি যুক্তিসঙ্গত বিভ্রান্তিকর কারণ নাম দেওয়ার চেষ্টা করুন যা কোনো কার্যকারণ সংযোগ ছাড়াই এটি ব্যাখ্যা করবে।

৫. আমাদের সবচেয়ে গুরুত্বপূর্ণ মেট্রিকের জন্য স্বাভাবিক তারতম্য কেমন দেখায় তা জানার জন্য আমাদের কি যথেষ্ট ঐতিহাসিক উপাত্ত আছে, নাকি আমরা একক বিন্দু তুলনা করছি? স্বাভাবিক পরিসীমার একটি ধারণা ছাড়া, যে কোনো একক পাঠ প্রমাণের বদলে মেজাজের উপর নির্ভর করে চিন্তাজনক বা আশ্বস্তকর দেখায়। আলোচনা করুন আপনার সবচেয়ে বেশি দেখা মেট্রিক কখনও একটি একক সংখ্যার বদলে একটি নিয়ন্ত্রণ চার্ট হিসেবে প্লট করা হয়েছে কিনা।

৬. আমরা বর্তমানে অ-প্রযুক্তিগত অংশীদারদের কাছে অনিশ্চয়তা কীভাবে যোগাযোগ করি, এবং আমাদের ড্যাশবোর্ড কি উপাত্ত প্রকৃতপক্ষে সমর্থন করে তার চেয়ে বেশি নির্ভুলতা বোঝায়? স্বাভাবিক তারতম্য বা নমুনার আকারের কোনো ইঙ্গিত ছাড়া একটি চার্ট একটি নেতৃত্ব দলকে শোরগোলের প্রতি অতিরিক্ত প্রতিক্রিয়া করাতে পারে বা, ঠিক ততটাই প্রায়ই, একটি প্রকৃত সংকেতকে শোরগোল হিসেবে খারিজ করতে পারে। আলোচনা করুন আপনার প্রতিবেদন কীভাবে অপঠনযোগ্য না হয়ে সততার সাথে এটি যোগাযোগ করতে পারে।

ক্ষেত্র লেন্স

স্টার্টআপ। ছোট দল প্রায় সর্বত্র ছোট নমুনা উৎপন্ন করে, যার অর্থ এই বিষয়ের ছোট-নমুনা সতর্কতা ক্রমাগত গুরুত্বপূর্ণ। একটি একক খারাপ সপ্তাহ বা একটি একক দুর্দান্ত সপ্তাহ থেকে শক্তিশালী সিদ্ধান্ত আঁকা প্রতিরোধ করুন; শুধুমাত্র হাতেগোনা কয়েকটি উপাত্ত বিন্দুসহ, “এটি কি একটি প্রবণতা” প্রশ্নের সৎ উত্তর প্রায়ই “আমরা এখনও জানি না।”

ছোট ব্যবসা। অফ-দ্য-শেল্ফ টুলের বিল্ট-ইন ড্যাশবোর্ড প্রায়ই ডিফল্টভাবে গড় ও একক-সময়কাল তুলনায় যায় কারণ সেগুলো গণনা ও প্রদর্শন করা সবচেয়ে সহজ। যেখানে টুলটি অনুমতি দেয়, সময়-ভিত্তিক মেট্রিকের জন্য মধ্যকে পরিবর্তন করুন, এবং একটি ছোট অন্তর্নিহিত গণনা থেকে গণনা করা যে কোনো “এই মাসে ৪০% বৃদ্ধি” শিরোনাম সম্পর্কে সন্দিহান হোন।

এন্টারপ্রাইজ। এই মাত্রায় পরিসংখ্যানগত ভুল সম্পদায়ন ও পুনর্গঠন সিদ্ধান্তে বেক করা হয় যা শত শত মানুষকে প্রভাবিত করে। বিশ্লেষক বা এম্বেডেড উপাত্ত অনুশীলনকারীদের মধ্যে বিনিয়োগ করুন যারা ব্যবসায়িক ইউনিটের মধ্যে একটি তুলনা বা একটি প্রধান পরিবর্তনের আগে-এবং-পরে নেতৃত্বের কাছে স্থির সত্য হিসেবে উপস্থাপন করার আগে যথাযথ নিয়ন্ত্রণ চার্ট তৈরি করতে এবং বিভ্রান্তিকর চলকের জন্য পরীক্ষা করতে পারে।

সরকার। একটি সরকারি প্রতিবেদন বা একটি বাজেট যুক্তি খাওয়ানো একটি পরিসংখ্যানগতভাবে অজ্ঞ তুলনা অত্যধিক বাস্তব-বিশ্বের পরিণতি রাখতে পারে এবং ঠিক সেই ধরনের তদন্তকে আমন্ত্রণ জানায় যা প্রকাশ্যে অগোছালো বিশ্লেষণ উন্মোচন করে। বাহ্যিকভাবে প্রকাশিত যে কোনো কিছুর জন্য একটি স্থায়ী অনুশীলন হিসেবে আরও কঠোর কৌশল, নিয়ন্ত্রণ চার্ট, নথিভুক্ত নমুনার আকার, বিভ্রান্তিকর চলক পরীক্ষা প্রয়োগ করুন, শুধু একটি মাঝে মাঝে সর্বোত্তম প্রচেষ্টা হিসেবে নয়।

উদাহরণ

এন্টারপ্রাইজ। একটি সফটওয়্যার কোম্পানির নেতৃত্ব দল একটি নতুন কোড পর্যালোচনা নীতি চালু করার পরের মাসে পরিবর্তনের ব্যর্থতার হারে ২৫% উন্নতি উদযাপন করেছিল, নীতিটিকে সরাসরি কৃতিত্ব দিয়ে। একটি ঘনিষ্ঠ দৃষ্টি খুঁজে পেয়েছিল যে “আগের” মাসটি একটি অস্বাভাবিকভাবে খারাপ মাস ছিল, একটি একক দলের একটি খারাপ হয়ে যাওয়া মাইগ্রেশন দ্বারা চালিত, এবং উভয় মাসে অন্তর্নিহিত নমুনার আকার কোম্পানি-ব্যাপী ত্রিশটি স্থাপনার কম ছিল। বারো মাসের ইতিহাস ব্যবহার করে একটি নিয়ন্ত্রণ চার্ট দেখিয়েছিল যে নতুন পাঠটি স্বাভাবিক তারতম্যের মধ্যেই ভালোভাবে ছিল, একটি প্রকৃত ধাপ পরিবর্তন নয়, এবং নীতির প্রকৃত প্রভাব, যদিও বাস্তব, শিরোনাম সংখ্যা প্রস্তাব করার চেয়ে অনেক ছোট ছিল।

সরকার। একটি সরকারি পরিবহন সংস্থা একটি নতুন ডিজিটাইজড সময়সূচী সিস্টেমের জন্য সময়মতো কর্মক্ষমতায় একটি বড় বছর-থেকে-বছর উন্নতি প্রতিবেদন করেছিল, একটি একক “আগের” ত্রৈমাসিককে একটি একক “পরের” ত্রৈমাসিকের সাথে তুলনা করে। একটি স্বাধীন পর্যালোচনায় পাওয়া গেছে যে “আগের” ত্রৈমাসিকটি একটি অসম্পর্কিত নির্মাণ বন্ধের সাথে মিলিত হয়েছিল যা সমগ্র নেটওয়ার্ক জুড়ে কর্মক্ষমতা হ্রাস করেছিল, এবং একটি দীর্ঘতর বেসলাইন দেখিয়েছিল যে সময়মতো কর্মক্ষমতা নতুন সিস্টেম চালু হওয়ার আগে থেকেই পুনরুদ্ধার হচ্ছিল। সংস্থার সংশোধিত প্রতিবেদন একটি সম্পূর্ণ বহু-বছরের নিয়ন্ত্রণ চার্ট ব্যবহার করেছিল এবং নতুন সিস্টেমকে তুলনামূলকভাবে সামান্য, কিন্তু আরও রক্ষণযোগ্য, উন্নতির কৃতিত্ব দিয়েছিল।

ব্যবসায়িক যুক্তি: প্রেরণা, ROI, এবং TCO

পরিসংখ্যানগত সাক্ষরতার রিটার্ন হলো এড়ানো ভুল দিকনির্দেশনা: একটি প্রতিষ্ঠান যা সঠিকভাবে একটি উন্নতিকে দায়ী করে, বা সঠিকভাবে শোরগোলকে শোরগোল হিসেবে চেনে, একটি ভৌতিক প্রভাব তাড়া করার বদলে যেখানে এটি প্রকৃতপক্ষে সাহায্য করবে সেখানে তার পরবর্তী বিনিয়োগ ব্যয় করে। উপরের খুচরা উদাহরণটি সাধারণ: একটি কোম্পানি যা বিশ্বাস করত এর পর্যালোচনা নীতি একাই ২৫% উন্নতি চালিত করেছে অন্য প্রকৃত অবদানকারীদের মধ্যে কম-বিনিয়োগ করতে পারে, বা এমন একটি উপায়ে নীতির মূল্যকে অতিরিক্ত বলতে পারে যা ভবিষ্যতের সিদ্ধান্তকে বিভ্রান্ত করে।

পরিসংখ্যানগত কঠোরতার মোট খরচ বেশিরভাগ নতুন টুলিংয়ের বদলে একটি অভ্যাস পরিবর্তন: একটি গড়ের চেয়ে একটি মধ্যক বেছে নেওয়া, প্রতিক্রিয়া দেখানোর আগে একটি নমুনার আকার পরীক্ষা করা, বিজয় ঘোষণা করার আগে একটি দীর্ঘতর বেসলাইন প্লট করা। এই অভ্যাসগুলো গ্রহণ করতে সামান্য খরচ করে এবং আত্মবিশ্বাসী, ভুল সিদ্ধান্তে নেওয়া সিদ্ধান্তের অনেক বড়, শনাক্ত করা কঠিন খরচ প্রতিরোধ করে।

বিরোধী প্যাটার্ন এবং ফাঁদ

• তির্যক সময়-ভিত্তিক উপাত্তে একটি গড় প্রতিবেদন করা: সাধারণ কেস ও লেজকে একটি একক বিভ্রান্তিকর সংখ্যার পেছনে লুকায়।
• কোনো দৃশ্যমান নমুনার আকার ছাড়া একটি শতাংশে প্রতিক্রিয়া দেখানো: হাতেগোনা কয়েকটি ঘটনা থেকে শোরগোলকে যেন এটি একটি স্থিতিশীল, অর্থপূর্ণ প্রবণতা হিসেবে বিবেচনা করে।
• গড়ে প্রত্যাবর্তন বাদ না দিয়েই একটি হস্তক্ষেপকে কৃতিত্ব দেওয়া: একটি সাধারণ, করা সহজ, লক্ষ্য করা কঠিন ভুল।
• বিভ্রান্তিকর চলক বিবেচনা না করেই সহ-ঘটন থেকে কার্যকারণ দাবি করা: উপাত্ত প্রকৃতপক্ষে যা সমর্থন করে তার চেয়ে বেশি বলে।
• একটি দীর্ঘতর বেসলাইন প্লট করার বদলে একটি একক আগে-এবং-পরে লুকচিত্র তুলনা করা: একটি প্রকৃত সরণকে সাধারণ তারতম্য থেকে আলাদা করতে পারে না।
• নেতৃত্ব-মুখী প্রতিবেদনে উপাত্ত যা সমর্থন করে তার চেয়ে বেশি নির্ভুলতা বোঝানো: শোরগোলের প্রতি অতিরিক্ত প্রতিক্রিয়া বা একটি প্রকৃত সংকেত খারিজ করাকে আমন্ত্রণ জানায়।

পরিপক্বতা মডেল

• স্তর ১, শুরু: মেট্রিক নমুনার আকার, তির্যকতা, বা বেসলাইন তারতম্যের প্রতি কোনো মনোযোগ ছাড়াই কাঁচা গড় এবং একক আগে-এবং-পরে লুকচিত্র হিসেবে প্রতিবেদন করা হয়।
• স্তর ২, উন্নয়ন: কিছু বিশ্লেষক অনানুষ্ঠানিকভাবে মধ্যক বা পার্সেন্টাইল প্রয়োগ করেন, কিন্তু কোনো সামঞ্জস্যপূর্ণ প্রাতিষ্ঠানিক অনুশীলন নেই এবং বিভ্রান্তিকর চলক খুব কমই পরীক্ষা করা হয়।
• স্তর ৩, মানসম্মতকরণ: তির্যক সময়-ভিত্তিক মেট্রিকের জন্য মধ্যক ও পার্সেন্টাইল ডিফল্ট; নমুনার আকার প্রতিষ্ঠান জুড়ে শতাংশ-ভিত্তিক মেট্রিকের পাশাপাশি দেখানো হয়।
• স্তর ৪, ব্যবস্থাপনা: ঐতিহাসিক বেসলাইনসহ নিয়ন্ত্রণ চার্ট একটি প্রকৃত সরণের যে কোনো দাবির জন্য মানসম্মত অনুশীলন; প্রতিবেদনে কার্যকারণ দাবি করার আগে বিভ্রান্তিকর চলক সক্রিয়ভাবে বিবেচনা করা হয়।
• স্তর ৫, সমন্বয়: পরিসংখ্যানগত কঠোরতা টুলিংয়ের নিজেই তৈরি করা হয়, ড্যাশবোর্ড ডিফল্টভাবে পার্সেন্টাইল ও নিয়ন্ত্রণ ব্যান্ড রেন্ডার করে, এবং প্রতিষ্ঠান প্রদর্শন করতে পারে যে একটি নির্দিষ্ট অতীত সিদ্ধান্ত সংশোধন করা হয়েছিল কারণ একটি পরিসংখ্যানগতভাবে অজ্ঞ পাঠ কৌশল আকার দেওয়ার আগে ধরা পড়েছিল।

আলোচনার জন্য ধারণা

১. আমাদের বর্তমান ড্যাশবোর্ড শিরোনামের কোনটি ভিন্ন দেখাবে যদি আমরা একটি গড়কে একটি মধ্যক দিয়ে প্রতিস্থাপন করতাম? ২. আমরা কি কখনও একটি সিদ্ধান্ত পরিবর্তন করেছি কারণ একটি শতাংশ আমরা ধরে নেওয়ার চেয়ে অনেক ছোট নমুনার উপর ভিত্তি করে তৈরি হয়েছিল? ৩. একটি সাম্প্রতিক “আমরা এই মেট্রিক উন্নত করেছি” গল্প কী যা আমাদের গড়ে প্রত্যাবর্তনের জন্য পুনঃপরীক্ষা করা উচিত? ৪. আমাদের কোন দুটি মেট্রিক একে অপরকে চালিত করার বদলে একটি লুকানো তৃতীয় কারণের মাধ্যমে সহসম্পর্কিত হতে পারে? ৫. আমাদের সবচেয়ে গুরুত্বপূর্ণ চার্ট কি তারতম্যের একটি স্বাভাবিক পরিসীমা দেখায়, নাকি শুধু একটি একক প্রবণতা রেখা?

মূল বিষয়সমূহ

• তির্যক, সময়-ভিত্তিক প্রকৌশল মেট্রিকের জন্য গড়ের চেয়ে মধ্যক ও পার্সেন্টাইল পছন্দ করুন।
• একটি ছোট নমুনা থেকে একটি শতাংশকে শোরগোলপূর্ণ হিসেবে বিবেচনা করুন, এবং একটি স্থিতিশীল প্রবণতা হিসেবে এটির প্রতি প্রতিক্রিয়া দেখানোর বদলে স্পষ্টভাবে তা বলুন।
• একটি অস্বাভাবিকভাবে খারাপ পাঠের পরে একটি উন্নতির জন্য একটি হস্তক্ষেপকে কৃতিত্ব দেওয়ার আগে গড়ে প্রত্যাবর্তনের জন্য নজর রাখুন।
• সহ-ঘটন কার্যকারণ নয়; একটি কার্যকারণ দাবি করার আগে সক্রিয়ভাবে বিভ্রান্তিকর চলকের জন্য দেখুন।
• একটি প্রকৃত সরণকে সাধারণ শোরগোল থেকে বলতে একটি একক আগে-এবং-পরে লুকচিত্র নয়, একটি প্রকৃত ঐতিহাসিক বেসলাইনসহ একটি নিয়ন্ত্রণ চার্ট ব্যবহার করুন।

তথ্যসূত্র এবং অতিরিক্ত পাঠ

• The Signal and the Noise, লেখক Nate Silver (অসম্পূর্ণ উপাত্তে প্রকৃত সংকেতকে শোরগোল থেকে আলাদা করা)।
• How to Measure Anything, লেখক Douglas W. Hubbard (প্রাতিষ্ঠানিক পরিমাপের জন্য পরিসংখ্যানগত যুক্তি)।
• Understanding Variation: The Key to Managing Chaos, লেখক Donald J. Wheeler (নিয়ন্ত্রণ চার্ট এবং সাধারণ-কারণ ও বিশেষ-কারণ তারতম্যের মধ্যে পার্থক্য)।
• Thinking, Fast and Slow, লেখক Daniel Kahneman (গড়ে প্রত্যাবর্তন এবং কার্যকারণ বিবরণের বিভ্রম সহ জ্ঞানীয় পক্ষপাত)।
• The Visual Display of Quantitative Information, লেখক Edward R. Tufte (পরিমাণগত উপাত্তের সৎ, উচ্চ-অখণ্ডতাপূর্ণ উপস্থাপনা)।