ETL adalah singkatan dari extract, transform, load, dan menggambarkan proses pengambilan data dari sistem sumber, mengubahnya menjadi struktur yang konsisten, dan memuatnya ke tujuan seperti gudang data. Ini adalah infrastruktur dasar di balik analitik, dan keandalannya menentukan apakah laporan yang dibangun di atasnya dapat dipercaya.
Setiap tahap memiliki kesulitan yang berbeda. Ekstraksi harus memperoleh data dari sistem yang tidak dirancang untuk diakses secara eksternal, menangani batasan laju API, deteksi perubahan bertahap, dan sumber yang tidak menyediakan cara yang andal untuk mengidentifikasi apa yang telah berubah. Transformasi harus menyelaraskan format yang tidak konsisten, pengidentifikasi yang berbeda, definisi yang bertentangan, dan nilai yang hilang. Pemuatan harus menangani volume data, mempertahankan riwayat, dan menangani catatan yang datang terlambat atau tidak berurutan.
Varian ELT membalikkan dua tahap terakhir, memuat data mentah ke tujuan dan mentransformasikannya di sana. Hal ini menjadi umum karena platform gudang data modern memiliki kemampuan pemrosesan yang memadai untuk membuat transformasi di tempat menjadi efisien, dan karena mempertahankan data mentah memungkinkan transformasi untuk direvisi dan diterapkan kembali tanpa mengekstrak ulang dari sumber. Ini juga berarti kesalahan dalam logika transformasi dapat dipulihkan dan bukan bersifat permanen.
Pemrosesan inkremental adalah kebutuhan praktis yang mempersulit sebagian besar implementasi. Memproses ulang semua data historis pada setiap eksekusi itu sederhana dan menjadi tidak mungkin seiring bertambahnya volume, sehingga pipeline harus mengidentifikasi apa yang telah berubah sejak eksekusi terakhir. Sumber data tanpa stempel waktu perubahan yang andal, catatan yang diperbarui secara retroaktif, dan penghapusan yang tidak meninggalkan jejak semuanya membuat hal ini lebih sulit daripada yang terlihat, dan logika inkremental yang salah menghasilkan data yang tidak lengkap secara diam-diam.
Penanganan kegagalan menentukan apakah suatu pipeline layak untuk produksi. Pipeline sering gagal karena sistem sumber mengubah skemanya, kredensial kedaluwarsa, layanan hulu tidak tersedia, atau data yang tidak terduga tiba. Sifat-sifat pentingnya adalah kegagalan terdeteksi segera, eksekusi parsial tidak meninggalkan tujuan dalam keadaan tidak konsisten, eksekusi ulang menghasilkan hasil yang sama daripada menduplikasi catatan, dan seseorang diberitahu daripada kegagalan ditemukan ketika laporan terlihat salah.
Validasi kualitas data seharusnya dilakukan di dalam alur kerja, bukan setelahnya. Memeriksa jumlah baris terhadap ekspektasi, memverifikasi bahwa kolom-kolom kunci terisi, memastikan bahwa nilai-nilai berada dalam rentang yang masuk akal, dan menguji konsistensi referensial dapat mendeteksi kerusakan data pada titik masuk. Tanpa pengujian ini, data yang buruk akan menyebar ke dalam laporan dan pengambilan keputusan, dan biasanya baru ditemukan oleh seseorang yang memperhatikan angka yang tidak masuk akal beberapa minggu kemudian.
Penjadwalan dan manajemen ketergantungan menentukan apakah outputnya koheren. Pipeline jarang berjalan secara terisolasi, dan pekerjaan hilir yang dimulai sebelum sumber hulunya selesai menghasilkan hasil parsial yang tampak lengkap. Alat orkestrasi ada untuk mengekspresikan ketergantungan ini secara eksplisit, dan pipeline yang dirantai berdasarkan asumsi waktu daripada berdasarkan ketergantungan yang dideklarasikan akan gagal secara berkala dengan cara yang sulit direproduksi.
Dokumentasi dan silsilah data sangat penting karena alur kerja (pipeline) akan tetap ada meskipun orang yang membangunnya sudah tiada. Mengetahui dari mana setiap bidang data berasal, transformasi apa yang diterapkan, dan aturan bisnis apa yang dikodekan sangat penting untuk menjawab pertanyaan mengapa suatu angka terlihat seperti itu, dan untuk menilai dampak perubahan pada sistem sumber. Alur kerja yang tidak terdokumentasi akan menjadi sistem yang tidak ada yang berani memodifikasinya, dan itulah sebabnya organisasi akhirnya memiliki alur kerja paralel yang menghasilkan angka-angka yang saling bertentangan.
Karena keandalan, bukan kecanggihan, yang menentukan nilai yang diberikan, disiplin rekayasa yang diterapkan pada jalur pipa harus sesuai dengan yang diterapkan pada perangkat lunak produksi. Dalam praktiknya, jalur pipa dibangun dan dioperasikan oleh pengembangan produk atau itu Departemen IT, logika transformasi yang mengkodekan definisi bisnis ditentukan dengan analisis data, dan aturan validasi sebaiknya disepakati sebelum pipeline pertama dibangun, bukan ditambahkan setelah insiden pertama.