Kho dữ liệu

Kho dữ liệu là một kho lưu trữ trung tâm hợp nhất dữ liệu từ các hệ thống vận hành của một tổ chức thành một cấu trúc được thiết kế để phân tích chứ không phải để xử lý giao dịch. Dữ liệu được trích xuất từ ​​các hệ thống nguồn, chuyển đổi thành các định dạng và định nghĩa nhất quán, và được tải vào kho dữ liệu, nơi nó có thể được truy vấn trên nhiều nguồn mà không ảnh hưởng đến các hệ thống đã tạo ra nó.

Vấn đề mà nó giải quyết là sự phân mảnh. Thông tin của một tổ chức thường nằm rải rác trên nhiều nền tảng khác nhau, bao gồm nền tảng thương mại điện tử, hệ thống quản lý quan hệ khách hàng, phần mềm tài chính, công cụ tiếp thị, phần mềm hỗ trợ và nhiều bảng tính, mỗi bảng tính lại có định nghĩa, mã định danh và lịch sử riêng. Những câu hỏi liên quan đến nhiều hệ thống này không thể được trả lời nếu không có sự đối chiếu thủ công, đó là lý do tại sao các phân tích lẽ ra chỉ mất vài phút lại kéo dài nhiều ngày và tại sao các bộ phận khác nhau lại đưa ra các con số khác nhau cho cùng một chỉ số.

Việc tách biệt khối lượng công việc phân tích khỏi khối lượng công việc vận hành là lý do thứ hai, và đó là một nhu cầu thực tiễn hơn là một sở thích. Các truy vấn phân tích phức tạp chạy trên cơ sở dữ liệu sản xuất làm giảm hiệu suất của các hệ thống mà khách hàng và nhân viên phụ thuộc vào, và các lược đồ vận hành được tối ưu hóa để ghi lại các giao dịch hơn là để tổng hợp chúng. Kho dữ liệu cho phép phân tích không bị hạn chế mà không gây rủi ro vận hành.

Điểm khác biệt giữa kho dữ liệu và hồ dữ liệu nằm ở cấu trúc và thời gian. Kho dữ liệu áp đặt lược đồ và chuyển đổi trước khi tải, tạo ra dữ liệu nhất quán, sẵn sàng cho truy vấn, nhưng phải trả giá bằng công việc thiết kế ban đầu và giảm tính linh hoạt. Hồ dữ liệu lưu trữ dữ liệu thô ở dạng ban đầu và áp dụng cấu trúc khi đọc, điều này bảo toàn tính linh hoạt và chi tiết trong khi đặt gánh nặng diễn giải lên mỗi người dùng. Các kiến ​​trúc hiện đại ngày càng kết hợp cả hai, lưu trữ dữ liệu thô và xây dựng các lớp mô hình hóa phía trên nó.

Việc lập mô hình là nơi chứa đựng phần lớn giá trị và cũng là phần khó khăn nhất. Quyết định cách thức định nghĩa các thực thể kinh doanh, cách tính toán các chỉ số, cách xử lý các thuộc tính thay đổi chậm và cách đối chiếu các nguồn dữ liệu thể hiện sự hiểu biết của tổ chức về chính mình. Các kho dữ liệu sao chép cấu trúc hệ thống nguồn mà không thực hiện công việc này chỉ đơn giản là di chuyển sự phân mảnh, và vấn đề đối chiếu lại xuất hiện khi truy vấn.

Quản trị định nghĩa quan trọng hơn công nghệ. Một kho dữ liệu chứa ba cách tính doanh thu, hoặc hai định nghĩa về khách hàng đang hoạt động, sẽ tạo ra sự bất đồng hiệu quả hơn so với các hệ thống mà nó thay thế. Việc thống nhất các định nghĩa, ghi chép chúng, thực hiện từng định nghĩa một và yêu cầu các báo cáo sử dụng phiên bản đã được thống nhất mới là điều làm cho nguồn thông tin duy nhất trở nên thực tế chứ không chỉ là lý tưởng.

Tần suất làm mới dữ liệu là một quyết định thiết kế thường được đưa ra mặc định và sau đó bị hối tiếc. Việc tải dữ liệu liên tục về mặt kỹ thuật là khả thi nhưng hiếm khi cần thiết, vì hầu hết các quyết định kinh doanh được đưa ra theo chu kỳ hàng ngày hoặc hàng tuần và chi phí xử lý gần thời gian thực là rất lớn. Việc điều chỉnh tần suất cập nhật phù hợp với cách dữ liệu thực sự được sử dụng, thay vì dựa trên mức độ cập nhật lý thuyết của dữ liệu, sẽ tránh được việc trả tiền cho dữ liệu không được sử dụng.

Chi phí đã thay đổi hình thức chứ không biến mất hoàn toàn với các nền tảng đám mây. Lưu trữ có giá rẻ và điện toán được tính phí theo mức sử dụng, điều này loại bỏ khoản đầu tư ban đầu lớn và tạo ra chi phí biến đổi theo khối lượng truy vấn. Các truy vấn được viết kém, tần suất làm mới không cần thiết và bảng điều khiển tính toán lại các tổng hợp lớn trên mỗi chế độ xem có thể tạo ra hóa đơn khiến các tổ chức ngạc nhiên vì kỳ vọng chi phí điện toán đám mây sẽ rẻ hơn đồng đều.

Vì công việc này bao gồm kỹ thuật, mô hình hóa và sự thống nhất về định nghĩa trong tổ chức, nên nó thường thất bại ở khía cạnh cuối cùng hơn là ở công nghệ. Trên thực tế, việc quản trị mô hình hóa và định nghĩa thuộc về... Phân tích dữ liệu, các đường ống và cơ sở hạ tầng với phát triển sản phẩm hoặc là Bộ phận công nghệ thông tinVà phạm vi hoạt động thường được xác định tốt nhất bởi những quyết định mà tổ chức thực sự cần đưa ra, chứ không phải bởi tham vọng hợp nhất mọi thứ.