ईटीएल

ETL का मतलब एक्सट्रैक्ट, ट्रांसफॉर्म, लोड है, और यह स्रोत सिस्टम से डेटा लेने, उसे एक सुसंगत संरचना में बदलने और फिर उसे डेटा वेयरहाउस जैसे गंतव्य स्थान पर लोड करने की प्रक्रिया का वर्णन करता है। यह एनालिटिक्स का आधारभूत ढांचा है, और इसकी विश्वसनीयता ही यह निर्धारित करती है कि इस पर आधारित रिपोर्टों पर भरोसा किया जा सकता है या नहीं।

प्रत्येक चरण की अपनी अलग-अलग चुनौतियाँ होती हैं। डेटा निष्कर्षण में उन प्रणालियों से डेटा प्राप्त करना होता है जिन्हें बाहरी रूप से क्वेरी करने के लिए डिज़ाइन नहीं किया गया था, साथ ही API दर सीमाओं, क्रमिक परिवर्तन पहचान और उन स्रोतों को संभालना होता है जो यह पहचानने का कोई विश्वसनीय तरीका प्रदान नहीं करते कि क्या परिवर्तित हुआ है। रूपांतरण में असंगत प्रारूपों, भिन्न पहचानकर्ताओं, परस्पर विरोधी परिभाषाओं और गुम मानों का समाधान करना होता है। लोडिंग में डेटा की मात्रा को संभालना, इतिहास को बनाए रखना और देर से या अव्यवस्थित रूप से प्राप्त रिकॉर्ड से निपटना होता है।

ईएलटी संस्करण अंतिम दो चरणों को उलट देता है, कच्चे डेटा को गंतव्य स्थान पर लोड करता है और वहीं उसे रूपांतरित करता है। यह प्रक्रिया आम हो गई है क्योंकि आधुनिक डेटा संग्रह प्लेटफार्मों में रूपांतरण को कुशलतापूर्वक करने के लिए पर्याप्त प्रसंस्करण क्षमता होती है, और कच्चे डेटा को बनाए रखने से रूपांतरणों को स्रोतों से पुनः निकाले बिना संशोधित और पुनः लागू किया जा सकता है। इसका अर्थ यह भी है कि रूपांतरण तर्क में त्रुटियां स्थायी होने के बजाय सुधार योग्य होती हैं।

वृद्धिशील प्रसंस्करण एक व्यावहारिक आवश्यकता है जो अधिकांश कार्यान्वयनों को जटिल बना देती है। प्रत्येक रन पर सभी ऐतिहासिक डेटा को पुनः संसाधित करना सरल है, लेकिन मात्रा बढ़ने पर यह अव्यवहारिक हो जाता है, इसलिए पाइपलाइनों को यह पहचानना आवश्यक है कि पिछले रन के बाद से क्या परिवर्तन हुए हैं। विश्वसनीय परिवर्तन समय-चिह्न के बिना स्रोत, पूर्वव्यापी रूप से अद्यतन किए गए रिकॉर्ड और बिना कोई निशान छोड़े किए गए विलोपन, ये सभी इसे दिखने में जितना आसान लगता है उससे कहीं अधिक कठिन बना देते हैं, और गलत वृद्धिशील तर्क चुपचाप अपूर्ण डेटा उत्पन्न करता है।

विफलता प्रबंधन से यह निर्धारित होता है कि पाइपलाइन उत्पादन-योग्य है या नहीं। स्रोत सिस्टम के स्कीमा में बदलाव, क्रेडेंशियल की समय सीमा समाप्त होने, अपस्ट्रीम सेवाओं के अनुपलब्ध होने या अप्रत्याशित डेटा आने के कारण पाइपलाइनें अक्सर विफल हो जाती हैं। महत्वपूर्ण विशेषताएं ये हैं कि विफलताओं का तुरंत पता लगाया जाए, आंशिक रन से गंतव्य असंगत स्थिति में न रहे, पुनः रन करने पर रिकॉर्ड की डुप्लीकेट कॉपी बनने के बजाय समान परिणाम प्राप्त हों, और किसी को सूचित किया जाए न कि विफलता का पता तब चले जब रिपोर्ट गलत दिखाई दे।

डेटा गुणवत्ता सत्यापन प्रक्रिया के दौरान ही किया जाना चाहिए, न कि बाद में। अपेक्षित मानों के अनुसार पंक्तियों की संख्या की जाँच करना, यह सुनिश्चित करना कि मुख्य फ़ील्ड भरे गए हैं, यह पुष्टि करना कि मान संभावित सीमाओं के भीतर हैं, और संदर्भ संगति का परीक्षण करना, त्रुटि को उसके प्रवेश बिंदु पर ही पकड़ लेता है। इन परीक्षणों के बिना, गलत डेटा रिपोर्टों और निर्णयों में फैल जाता है, और आमतौर पर इसका पता तब चलता है जब कोई व्यक्ति किसी अविश्वसनीय आंकड़े को हफ्तों बाद देखता है।

शेड्यूलिंग और निर्भरता प्रबंधन यह निर्धारित करते हैं कि आउटपुट सुसंगत है या नहीं। पाइपलाइनें शायद ही कभी अलग-थलग चलती हैं, और एक डाउनस्ट्रीम जॉब जो अपने अपस्ट्रीम स्रोत के समाप्त होने से पहले शुरू हो जाती है, आंशिक परिणाम उत्पन्न करती है जो पूर्ण प्रतीत होते हैं। इन निर्भरताओं को स्पष्ट रूप से व्यक्त करने के लिए ऑर्केस्ट्रेशन उपकरण मौजूद हैं, और घोषित निर्भरताओं के बजाय समय संबंधी मान्यताओं द्वारा संयोजित पाइपलाइनें रुक-रुक कर इस तरह से विफल होती हैं जिन्हें दोहराना मुश्किल होता है।

दस्तावेज़ीकरण और वंशावली महत्वपूर्ण हैं क्योंकि पाइपलाइनें उन्हें बनाने वालों से कहीं अधिक समय तक बनी रहती हैं। यह जानना आवश्यक है कि प्रत्येक फ़ील्ड कहाँ से उत्पन्न हुई, कौन से रूपांतरण लागू किए गए और कौन से व्यावसायिक नियम कोडित हैं, ताकि यह पता लगाया जा सके कि कोई संख्या इस प्रकार क्यों दिखती है और स्रोत प्रणाली में परिवर्तन के प्रभाव का आकलन किया जा सके। बिना दस्तावेज़ वाली पाइपलाइनें ऐसी प्रणालियाँ बन जाती हैं जिन्हें कोई भी संशोधित करने की हिम्मत नहीं करता, और इसी कारण संगठनों में समानांतर पाइपलाइनें बन जाती हैं जो परस्पर विरोधी आंकड़े उत्पन्न करती हैं।

क्योंकि विश्वसनीयता ही मूल्य निर्धारण करती है, न कि जटिलता, इसलिए पाइपलाइनों पर लागू इंजीनियरिंग अनुशासन उत्पादन सॉफ़्टवेयर पर लागू अनुशासन के समान होना चाहिए। व्यवहार में पाइपलाइनों का निर्माण और संचालन इनके द्वारा किया जाता है। उत्पाद विकास या आईटी विभागपरिवर्तन तर्क एन्कोडिंग व्यावसायिक परिभाषाओं को निर्दिष्ट किया गया है डेटा विश्लेषणऔर यह बेहतर होगा कि पहली पाइपलाइन बनने से पहले ही सत्यापन नियमों पर सहमति बन जाए, न कि पहली घटना के बाद उन्हें जोड़ा जाए।