Ý nghĩa thống kê

Ý nghĩa thống kê là tiêu chuẩn được sử dụng để quyết định xem sự khác biệt quan sát được giữa hai nhóm trong một thí nghiệm có đủ lớn đến mức khó có thể do ngẫu nhiên tạo ra hay không. Trong bối cảnh tối ưu hóa chuyển đổi, nó trả lời một câu hỏi cụ thể: nếu nhóm đối chứng và nhóm thử nghiệm thực sự có tác động giống hệt nhau đến hành vi của khách truy cập, thì một thí nghiệm có quy mô như vậy sẽ tạo ra sự khác biệt ít nhất lớn bằng sự khác biệt đã đo được bao nhiêu lần? Khi xác suất đó giảm xuống dưới ngưỡng đã được thỏa thuận trước, thường là 5%, kết quả được mô tả là có ý nghĩa thống kê ở mức độ tin cậy 95%.

Khái niệm này rất quan trọng vì dữ liệu chuyển đổi vốn dĩ rất nhiễu. Hai phiên bản giống hệt nhau của cùng một trang, được hiển thị cho hai nhóm người dùng được chia ngẫu nhiên từ cùng một lưu lượng truy cập, hầu như không bao giờ tạo ra tỷ lệ chuyển đổi chính xác như nhau. Sự biến động hàng ngày, sự kết hợp nguồn lưu lượng truy cập, sự khác biệt về thiết bị và tính ngẫu nhiên đơn giản đều tạo ra những khoảng cách rõ ràng nhưng không có ý nghĩa gì. Nếu không có ngưỡng ý nghĩa thống kê, các nhóm sẽ triển khai các thay đổi dựa trên nhiễu, và hiệu quả tổng thể của chương trình thử nghiệm sẽ trở thành bằng không hoặc âm trong khi tất cả mọi người tham gia đều tin rằng nó đang hoạt động.

Mức độ ý nghĩa được xác định trước khi bắt đầu thử nghiệm, chứ không phải được phát hiện sau đó. Thông lệ chuẩn là xác định mức độ ý nghĩa, độ mạnh thống kê mong muốn và kích thước hiệu ứng tối thiểu đáng để phát hiện, sau đó tính toán kích thước mẫu cần thiết và chạy thử nghiệm với kích thước mẫu đó. Việc kiểm tra kết quả nhiều lần và dừng lại ngay khi vượt qua ngưỡng sẽ làm tăng đáng kể tỷ lệ dương tính giả, bởi vì mỗi lần kiểm tra thêm là một cơ hội khác để sự biến đổi ngẫu nhiên vượt qua ngưỡng. Các nền tảng thử nghiệm báo cáo con số ý nghĩa trực tiếp khiến lỗi này dễ xảy ra, đó là lý do tại sao các chương trình có kỷ luật coi quy tắc dừng đã được đăng ký trước là ràng buộc.

Một quan niệm sai lầm dai dẳng là kết quả có ý nghĩa thống kê chứng tỏ một biến thể tốt hơn, và kết quả không có ý nghĩa thống kê chứng tỏ hai phiên bản tương đương nhau. Cả hai đều không đúng. Ý nghĩa thống kê mô tả sự phù hợp của dữ liệu với giả thuyết không có sự khác biệt; nó không nói lên điều gì về quy mô hoặc tầm quan trọng kinh doanh của một hiệu ứng. Một thử nghiệm với lưu lượng truy cập rất lớn có thể tìm thấy sự cải thiện có ý nghĩa thống kê chỉ ở mức phần trăm nhỏ, không đáng với chi phí kỹ thuật để triển khai. Ngược lại, kết quả không có ý nghĩa thống kê trong một thử nghiệm thiếu sức mạnh thống kê chỉ đơn giản có nghĩa là thí nghiệm thiếu độ nhạy để phát hiện ra một hiệu ứng có thể tồn tại. Việc báo cáo khoảng tin cậy cùng với kết quả sẽ cho thấy bức tranh hữu ích hơn nhiều so với nhãn nhị phân.

Trong công việc tư vấn, ý nghĩa nằm ở chỗ sự chặt chẽ trong phân tích gặp gỡ khả năng phán đoán thương mại. Dịch vụ CRO Việc cân bằng giữa lý tưởng thống kê và thực tế là hầu hết các trang web không có lưu lượng truy cập không giới hạn, và một doanh nghiệp không thể chờ ba tháng để chắc chắn về mọi ý tưởng. Giải pháp thực tế là đặt ra các ngưỡng nghiêm ngặt cho những thay đổi rủi ro cao, khó đảo ngược như giá cả, quy trình thanh toán hoặc kiến ​​trúc điều hướng, và chấp nhận các quyết định nhanh hơn, với độ tin cậy thấp hơn đối với các thay đổi về nội dung và bố cục rủi ro thấp, nơi chi phí sai sót nhỏ và có thể khắc phục được. Việc điều chỉnh đó là một quyết định chiến lược chứ không phải là một quyết định thống kê, và nó thường được thiết lập trong giai đoạn lập kế hoạch của một dự án. tối ưu hóa tỷ lệ chuyển đổi chương trình cùng với định nghĩa về các chỉ số chính và chỉ số giới hạn.

Một nguyên tắc hữu ích cho bất kỳ nhóm nào mới làm quen với lĩnh vực này là chạy thử nghiệm A/A trước khi tin tưởng vào kết quả của nền tảng. Việc chia lưu lượng truy cập giữa hai phiên bản giống hệt nhau, về bản chất, sẽ không tạo ra sự khác biệt đáng kể, và việc quan sát những gì công cụ báo cáo trong hai hoặc ba tuần sẽ rất hữu ích. Các nhóm thường xuyên phát hiện ra rằng nền tảng của họ tuyên bố một trang thắng cuộc đáng kể giữa hai trang giống hệt nhau tại một thời điểm nào đó trong quá trình chạy, điều này chính xác là những gì việc kiểm tra lặp đi lặp lại kết quả bằng không dự đoán được, và việc thấy điều đó xảy ra với lưu lượng truy cập của chính họ sẽ thuyết phục hơn bất kỳ lời giải thích nào về số liệu thống kê cơ bản. Bài tập này cũng làm nổi bật các vấn đề về công cụ đo lường, bao gồm phân bổ lưu lượng truy cập không đồng đều, việc theo dõi kích hoạt khác nhau giữa các biến thể và lưu lượng truy cập của bot không được lọc nhất quán, tất cả những điều này nếu không được phát hiện sẽ làm hỏng mọi thử nghiệm tiếp theo mà vẫn không thể nhìn thấy được.

Các nhóm đạt được sự trưởng thành trong lĩnh vực này sẽ ngừng hỏi liệu kết quả có ý nghĩa thống kê hay không, mà bắt đầu hỏi bằng chứng ủng hộ quyết định nào. Họ ghi lại kích thước và khoảng thời gian của hiệu quả, theo dõi tần suất các thành công đáng kể trong quá khứ được duy trì khi đo lường lại, và coi mỗi thử nghiệm là một dữ liệu đầu vào cho kho kiến ​​thức tích lũy về khách hàng của họ, chứ không phải là một phán quyết được đưa ra một lần và không bao giờ được xem xét lại.