ETL

Το ETL σημαίνει εξαγωγή, μετασχηματισμός, φόρτωση και περιγράφει τη διαδικασία λήψης δεδομένων από συστήματα προέλευσης, τη μετατροπή τους σε μια συνεπή δομή και τη φόρτωσή τους σε έναν προορισμό, όπως μια αποθήκη δεδομένων. Είναι η υδραυλική υποδομή κάτω από την ανάλυση και η αξιοπιστία της καθορίζει εάν οι αναφορές που δημιουργούνται πάνω σε αυτήν μπορούν να είναι αξιόπιστες.

Κάθε στάδιο παρουσιάζει ξεχωριστές δυσκολίες. Η εξαγωγή πρέπει να λαμβάνει δεδομένα από συστήματα που δεν έχουν σχεδιαστεί για να υποβάλλονται σε εξωτερικά ερωτήματα, να χειρίζεται όρια ρυθμού API, σταδιακή ανίχνευση αλλαγών και πηγές που δεν παρέχουν αξιόπιστο τρόπο για τον εντοπισμό όσων έχουν αλλάξει. Ο μετασχηματισμός πρέπει να συμβιβάζει ασυνεπείς μορφές, διαφορετικά αναγνωριστικά, αντικρουόμενους ορισμούς και ελλείπουσες τιμές. Η φόρτωση πρέπει να χειρίζεται τον όγκο, να διατηρεί το ιστορικό και να αντιμετωπίζει εγγραφές που φτάνουν αργά ή εκτός σειράς.

Η παραλλαγή ELT αντιστρέφει τα δύο τελευταία στάδια, φορτώνοντας ακατέργαστα δεδομένα στον προορισμό και μετασχηματίζοντάς τα εκεί. Αυτό έχει γίνει συνηθισμένο επειδή οι σύγχρονες πλατφόρμες αποθήκης έχουν επαρκή ικανότητα επεξεργασίας για να κάνουν τον μετασχηματισμό επί τόπου αποτελεσματικό και επειδή η διατήρηση ακατέργαστων δεδομένων επιτρέπει την αναθεώρηση και την εκ νέου εφαρμογή των μετασχηματισμών χωρίς εκ νέου εξαγωγή από τις πηγές. Σημαίνει επίσης ότι τα σφάλματα στη λογική μετασχηματισμού είναι ανακτήσιμα και όχι μόνιμα.

Η σταδιακή επεξεργασία είναι η πρακτική αναγκαιότητα που περιπλέκει τις περισσότερες υλοποιήσεις. Η επανεπεξεργασία όλων των ιστορικών δεδομένων σε κάθε εκτέλεση είναι απλή και καθίσταται ανέφικτη καθώς ο όγκος αυξάνεται, επομένως οι αγωγοί πρέπει να εντοπίζουν τι έχει αλλάξει από την τελευταία εκτέλεση. Οι πηγές χωρίς αξιόπιστες χρονικές σημάνσεις αλλαγών, τα αρχεία που ενημερώνονται αναδρομικά και οι διαγραφές που δεν αφήνουν ίχνη καθιστούν την κατάσταση πιο δύσκολη από ό,τι φαίνεται, και η εσφαλμένη σταδιακή λογική παράγει σιωπηλά ατελή δεδομένα.

Ο χειρισμός σφαλμάτων καθορίζει εάν μια διοχέτευση είναι παραγωγικής ποιότητας. Οι διοχετεύσεις αποτυγχάνουν συστηματικά επειδή τα συστήματα προέλευσης αλλάζουν τα σχήματά τους, λήγουν τα διαπιστευτήρια, οι υπηρεσίες upstream δεν είναι διαθέσιμες ή φτάνουν μη αναμενόμενα δεδομένα. Οι σημαντικές ιδιότητες είναι ότι οι αστοχίες εντοπίζονται αμέσως, ότι οι μερικές εκτελέσεις δεν αφήνουν τον προορισμό σε ασυνεπή κατάσταση, ότι οι επαναλήψεις παράγουν το ίδιο αποτέλεσμα αντί να δημιουργούν διπλότυπα αρχεία και ότι κάποιος ειδοποιείται αντί να ανακαλύπτεται η αποτυχία όταν μια αναφορά φαίνεται λανθασμένη.

Η επικύρωση της ποιότητας των δεδομένων γίνεται εντός του αγωγού και όχι μετά από αυτόν. Ο έλεγχος του αριθμού των γραμμών σε σχέση με τις προσδοκίες, η επαλήθευση ότι τα βασικά πεδία έχουν συμπληρωθεί, η επιβεβαίωση ότι οι τιμές εμπίπτουν σε εύλογα εύρη και ο έλεγχος της συνέπειας αναφοράς εντοπίζουν τυχόν αλλοιώσεις στο σημείο εισόδου. Χωρίς αυτές τις δοκιμές, τα κακά δεδομένα διαδίδονται σε αναφορές και αποφάσεις και συνήθως ανακαλύπτονται από κάποιον που παρατηρεί ένα μη εύλογο ποσό εβδομάδες αργότερα.

Ο προγραμματισμός και η διαχείριση εξαρτήσεων καθορίζουν εάν η έξοδος είναι συνεκτική. Οι αγωγοί σπάνια εκτελούνται μεμονωμένα και μια εργασία κατάντη που ξεκινά πριν ολοκληρωθεί η ανοδική πηγή της παράγει μερικά αποτελέσματα που φαίνονται ολοκληρωμένα. Υπάρχουν εργαλεία ενορχήστρωσης για να εκφράσουν αυτές τις εξαρτήσεις ρητά και οι αγωγοί που συνδέονται με υποθέσεις χρονισμού και όχι με δηλωμένες εξαρτήσεις αποτυγχάνουν κατά διαστήματα με τρόπους που είναι δύσκολο να αναπαραχθούν.

Η τεκμηρίωση και η γενεαλογία έχουν σημασία επειδή οι αγωγοί ζουν περισσότερο από τους ανθρώπους που τους κατασκευάζουν. Η γνώση της προέλευσης κάθε πεδίου, των μετασχηματισμών που εφαρμόστηκαν και των επιχειρηματικών κανόνων που κωδικοποιούνται είναι απαραίτητη για να απαντηθούν ερωτήματα σχετικά με το γιατί ένας αριθμός φαίνεται όπως έχει και για να αξιολογηθεί ο αντίκτυπος της αλλαγής ενός συστήματος πηγής. Οι μη τεκμηριωμένοι αγωγοί γίνονται συστήματα που κανείς δεν τολμά να τροποποιήσει, και έτσι οι οργανισμοί καταλήγουν σε παράλληλους αγωγούς που παράγουν αντικρουόμενα στοιχεία.

Επειδή η αξιοπιστία και όχι η πολυπλοκότητα καθορίζουν την αξία που παρέχεται, ο εφαρμοζόμενος στους αγωγούς μηχανικός κλάδος θα πρέπει να είναι ίδιος με αυτόν που εφαρμόζεται στο λογισμικό παραγωγής. Στην πράξη, οι αγωγοί κατασκευάζονται και λειτουργούν από ανάπτυξη προϊόντων ή η το τμήμα πληροφορικής, η κωδικοποίηση της λογικής μετασχηματισμού για τους επιχειρηματικούς ορισμούς καθορίζεται με ανάλυση δεδομένων, και οι κανόνες επικύρωσης αξίζει να συμφωνηθούν πριν από την κατασκευή του πρώτου αγωγού αντί να προστεθούν μετά το πρώτο περιστατικό.