डेटा वेयरहाउस

डेटा वेयरहाउस एक केंद्रीय भंडार है जो किसी संगठन के परिचालन प्रणालियों से डेटा को एक ऐसी संरचना में समेकित करता है जिसे लेनदेन प्रसंस्करण के बजाय विश्लेषण के लिए डिज़ाइन किया गया है। डेटा को स्रोत प्रणालियों से निकाला जाता है, सुसंगत प्रारूपों और परिभाषाओं में रूपांतरित किया जाता है, और वेयरहाउस में लोड किया जाता है, जहां इसे उन प्रणालियों को प्रभावित किए बिना विभिन्न स्रोतों से क्वेरी किया जा सकता है जिन्होंने इसे उत्पन्न किया है।

यह समस्या विखंडन की है। किसी संगठन की जानकारी आमतौर पर एक वाणिज्य प्लेटफॉर्म, ग्राहक संबंध प्रणाली, वित्त पैकेज, विपणन उपकरण, सहायता सॉफ़्टवेयर और कई स्प्रेडशीट में मौजूद होती है, जिनमें से प्रत्येक की अपनी परिभाषाएँ, पहचानकर्ता और इतिहास होता है। इनमें से एक से अधिक से संबंधित प्रश्नों का उत्तर मैन्युअल मिलान के बिना नहीं दिया जा सकता है, यही कारण है कि जिन विश्लेषणों में कुछ मिनट लगने चाहिए उनमें कई दिन लग जाते हैं और यही कारण है कि विभिन्न विभाग एक ही माप के लिए अलग-अलग संख्याएँ प्रस्तुत करते हैं।

विश्लेषणात्मक कार्यभार को परिचालन कार्यभार से अलग करना दूसरा कारण है, और यह एक व्यावहारिक आवश्यकता है, न कि प्राथमिकता। उत्पादन डेटाबेस पर चलने वाली जटिल विश्लेषणात्मक क्वेरीज़ उन प्रणालियों के प्रदर्शन को खराब करती हैं जिन पर ग्राहक और कर्मचारी निर्भर करते हैं, और परिचालन स्कीमा लेनदेन को रिकॉर्ड करने के लिए अनुकूलित होते हैं, न कि उन्हें एकत्रित करने के लिए। एक डेटा वेयरहाउस परिचालन जोखिम के बिना विश्लेषण को निर्बाध रूप से करने की अनुमति देता है।

डेटा लेक से डेटा वेयरहाउस का अंतर संरचना और समय के संदर्भ में है। डेटा वेयरहाउस डेटा लोड करने से पहले स्कीमा और रूपांतरण लागू करता है, जिससे सुसंगत और क्वेरी-रेडी डेटा प्राप्त होता है, लेकिन इसके लिए पहले से डिज़ाइन का काम करना पड़ता है और लचीलापन कम हो जाता है। वहीं, डेटा लेक कच्चे डेटा को उसके मूल रूप में संग्रहित करता है और पढ़ते समय संरचना लागू करता है, जिससे लचीलापन और बारीकी बनी रहती है, जबकि व्याख्या का भार प्रत्येक उपयोगकर्ता पर आ जाता है। आधुनिक आर्किटेक्चर तेजी से इन दोनों को मिलाकर कच्चे डेटा को संग्रहित करते हैं और उसके ऊपर मॉडल की गई परतें बनाते हैं।

मॉडलिंग में ही अधिकांश मूल्य और अधिकांश कठिनाई निहित है। व्यावसायिक संस्थाओं को कैसे परिभाषित किया जाता है, मापों की गणना कैसे की जाती है, धीरे-धीरे बदलने वाले गुणों को कैसे संभाला जाता है, और स्रोतों का सामंजस्य कैसे किया जाता है, ये सभी बातें संगठन की स्वयं की समझ को दर्शाती हैं। इस कार्य के बिना स्रोत प्रणाली संरचनाओं की नकल करने वाले डेटा भंडार केवल विखंडन को स्थानांतरित करते हैं, और क्वेरी के समय सामंजस्य की समस्या फिर से सामने आ जाती है।

परिभाषात्मक शासन प्रौद्योगिकी से कहीं अधिक महत्वपूर्ण है। राजस्व की तीन गणनाओं या सक्रिय ग्राहक की दो परिभाषाओं वाला एक डेटाबेस, उन प्रणालियों की तुलना में असहमति को अधिक कुशलता से हल करता है जिन्हें इसने प्रतिस्थापित किया है। परिभाषाओं पर सहमति बनाना, उन्हें दस्तावेज़ित करना, प्रत्येक को एक बार लागू करना और रिपोर्टों को सहमत संस्करण का उपयोग करने के लिए बाध्य करना ही सत्य के एकल स्रोत को एक आकांक्षा के बजाय वास्तविक बनाता है।

डेटा रिफ्रेश करने की आवृत्ति एक ऐसा डिज़ाइन निर्णय है जो अक्सर डिफ़ॉल्ट रूप से लिया जाता है और बाद में पछताया जाता है। डेटा को लगातार लोड करना तकनीकी रूप से संभव है और इसकी शायद ही कभी आवश्यकता होती है, क्योंकि अधिकांश व्यावसायिक निर्णय दैनिक या साप्ताहिक आधार पर लिए जाते हैं और लगभग वास्तविक समय में प्रोसेसिंग की लागत काफी अधिक होती है। अपडेट आवृत्ति को डेटा के सैद्धांतिक रूप से अद्यतन होने के बजाय, उसके वास्तविक उपयोग के अनुसार समायोजित करने से ऐसे डेटा के लिए भुगतान करने से बचा जा सकता है जिसका कोई उपयोग नहीं करता है।

क्लाउड प्लेटफॉर्म के आने से लागत पूरी तरह खत्म नहीं हुई है, बल्कि उसका स्वरूप बदल गया है। स्टोरेज सस्ता है और कंप्यूटिंग का शुल्क उपयोग के आधार पर लिया जाता है, जिससे शुरुआती बड़ा निवेश खत्म हो जाता है और क्वेरी की मात्रा के अनुसार परिवर्तनीय लागत लागू हो जाती है। खराब तरीके से लिखी गई क्वेरी, अनावश्यक रूप से बार-बार रिफ्रेश होना और डैशबोर्ड जो हर बार बड़े एग्रीगेट की गणना करते हैं, ऐसे बिल उत्पन्न कर सकते हैं जो उन संगठनों को चौंका सकते हैं जो क्लाउड की लागत को एक समान रूप से सस्ता मानते हैं।

क्योंकि इस कार्य में इंजीनियरिंग, मॉडलिंग और परिभाषाओं के बारे में संगठनात्मक सहमति शामिल है, इसलिए यह तकनीक की तुलना में अंतिम पहलू में अधिक बार विफल होता है। व्यवहार में, मॉडलिंग और परिभाषात्मक शासन इसके साथ जुड़े होते हैं। डेटा विश्लेषणपाइपलाइन और बुनियादी ढांचे के साथ उत्पाद विकास या आईटी विभागऔर इसका दायरा आमतौर पर उन निर्णयों द्वारा निर्धारित किया जाता है जो संगठन को वास्तव में लेने की आवश्यकता होती है, न कि हर चीज को समेकित करने की महत्वाकांक्षा द्वारा।