Chất lượng dữ liệu

Chất lượng dữ liệu mô tả liệu dữ liệu có phù hợp với mục đích sử dụng hay không, và đó là yếu tố hạn chế quyết định giá trị của mọi thứ được xây dựng dựa trên dữ liệu đó. Các phân tích phức tạp, mô hình học máy và bảng điều khiển dành cho lãnh đạo cấp cao đều thừa hưởng chất lượng dữ liệu đầu vào, và các tổ chức thường đầu tư mạnh vào lớp phân tích trong khi bỏ qua việc kiểm tra dữ liệu cơ bản.

Các khía cạnh thông thường cung cấp một danh sách kiểm tra hữu ích. Độ chính xác liên quan đến việc các giá trị có mô tả chính xác thực tế hay không. Tính đầy đủ liên quan đến việc các giá trị mong đợi có hiện diện hay không. Tính nhất quán liên quan đến việc cùng một sự kiện có được thể hiện giống hệt nhau trên các hệ thống hay không. Tính kịp thời liên quan đến việc dữ liệu có đủ cập nhật cho quyết định mà nó hỗ trợ hay không. Tính hợp lệ liên quan đến việc tuân thủ các định dạng và quy tắc đã được xác định. Tính duy nhất liên quan đến việc các thực thể được thể hiện một lần chứ không bị trùng lặp hay không.

Hầu hết các vấn đề về chất lượng phát sinh từ khâu thu thập dữ liệu chứ không phải ở khâu xử lý. Các trường văn bản tự do nơi cần các giá trị được kiểm soát, các biểu mẫu cho phép nhập liệu không hợp lý, các trường tùy chọn bị bỏ qua một cách có hệ thống, và các quy trình cho phép tạo cùng một khách hàng nhiều lần đều gây ra các lỗi mà không có biện pháp làm sạch nào ở khâu tiếp theo có thể khắc phục hoàn toàn. Khắc phục lỗi ở khâu thu thập dữ liệu hiệu quả hơn và tiết kiệm chi phí hơn đáng kể so với việc khắc phục liên tục, mặc dù điều đó đòi hỏi phải thay đổi các hệ thống mà người khác đang sở hữu.

Các bản ghi trùng lặp là vấn đề dai dẳng nhất và gây hậu quả nghiêm trọng nhất trong dữ liệu khách hàng. Nếu không có khả năng xác định danh tính đáng tin cậy, cùng một người sẽ xuất hiện nhiều lần, làm sai lệch số liệu khách hàng, chia nhỏ lịch sử mua hàng, làm suy yếu việc tính toán giá trị vòng đời khách hàng và dẫn đến việc liên hệ với cùng một người nhiều lần với các thông điệp khác nhau. Việc loại bỏ trùng lặp đòi hỏi các quy tắc đối sánh có chủ đích và áp dụng liên tục chứ không phải chỉ là một lần dọn dẹp duy nhất.

Việc đo lường chính là yếu tố chuyển đổi chất lượng từ ấn tượng ban đầu thành một thuộc tính được quản lý hiệu quả. Phân tích dữ liệu để định lượng mức độ đầy đủ, tính hợp lệ và tỷ lệ trùng lặp, theo dõi các chỉ số này theo thời gian và thiết lập các ngưỡng kích hoạt điều tra giúp phát hiện sự xuống cấp trước khi nó ảnh hưởng đến các quyết định. Các tổ chức không đo lường chất lượng sẽ phát hiện ra vấn đề thông qua sự thất bại của một yếu tố phụ thuộc vào nó.

Trách nhiệm sở hữu là điều kiện tổ chức mà nếu thiếu nó thì mọi thứ đều không thể cải thiện. Các vấn đề về chất lượng thường bắt nguồn từ một hệ thống, được phát hiện ở hệ thống khác và ảnh hưởng đến hệ thống thứ ba, và nếu không có người chịu trách nhiệm cụ thể, mỗi bộ phận sẽ coi đó là vấn đề của người khác. Việc chỉ định người chịu trách nhiệm cho mỗi tập dữ liệu quan trọng, người đó phải chịu trách nhiệm về chất lượng chứ không chỉ về tính khả dụng của nó, chính là điều biến các vấn đề đã được xác định thành các vấn đề đã được giải quyết.

Dữ liệu cũ đặt ra một quyết định mà các tổ chức thường xuyên trì hoãn. Các bản ghi lịch sử được thu thập theo các quy trình trước đây, từ các hệ thống được mua lại, hoặc trước khi có cơ chế xác thực thường không chính xác, và việc khắc phục chúng có thể tốn kém hơn giá trị phân tích mà chúng mang lại. Việc xác định rõ ràng những giai đoạn lịch sử nào đáng tin cậy, ghi lại ranh giới và loại trừ phần còn lại khỏi phân tích sẽ trung thực hơn là âm thầm trộn lẫn lịch sử đáng tin cậy và không đáng tin cậy.

Tính phù hợp với mục đích là tiêu chí giúp đảm bảo sự cân đối trong nỗ lực. Dữ liệu đủ để xác định xu hướng định hướng có thể hoàn toàn không đủ cho báo cáo tài chính hoặc cho mô hình đưa ra quyết định tự động về cá nhân. Việc xác định tiêu chuẩn cần thiết cho từng mục đích sử dụng, thay vì theo đuổi sự hoàn hảo đồng nhất, sẽ hướng dẫn việc khắc phục ở những nơi mà hậu quả của sai sót là lớn nhất và tránh được công việc tốn kém trên dữ liệu mà độ không chính xác của nó không quan trọng.

Vì nguyên nhân thường nằm ở các hệ thống và quy trình vận hành chứ không phải ở chức năng phân tích, nên việc cải thiện đòi hỏi sự hợp tác từ các nhóm mà mục tiêu của họ không bao gồm chất lượng dữ liệu. Trên thực tế, việc đo lường và lập hồ sơ được thiết lập bởi Phân tích dữ liệuCác bản sửa lỗi ở phía thu thập dữ liệu yêu cầu những thay đổi được thực hiện thông qua phát triển sản phẩmvà khi các khiếm khuyết bắt nguồn từ cách thiết kế biểu mẫu và quy trình, thì giải pháp thường nằm ở... Kiểm tra trải nghiệm người dùng Tập trung vào việc cải thiện các giao diện thu thập dữ liệu ngay từ đầu.