Sức mạnh thống kê

Độ mạnh thống kê là xác suất một thí nghiệm sẽ phát hiện ra một hiệu ứng thực sự có kích thước nhất định, nếu hiệu ứng đó thực sự tồn tại. Một thử nghiệm với độ mạnh 80%, quy ước được sử dụng rộng rãi nhất, sẽ xác định chính xác một sự cải thiện thực sự có kích thước được chỉ định bốn lần trong năm lần thử và sẽ bỏ sót nó một lần còn lại trong năm lần thử. Độ mạnh là đối trọng của mức ý nghĩa: mức ý nghĩa kiểm soát tần suất thử nghiệm "báo động giả", độ mạnh kiểm soát tần suất thử nghiệm không phát hiện ra "con sói".

Mức độ mạnh của phép thử được quyết định trước, cùng với mức ý nghĩa thống kê, tỷ lệ chuyển đổi cơ bản và hiệu ứng tối thiểu có thể phát hiện được, và cùng nhau, những yếu tố này xác định kích thước mẫu cần thiết. Việc nâng yêu cầu về mức độ mạnh của phép thử từ 80% lên 90% sẽ làm tăng đáng kể lưu lượng truy cập cần thiết, đó là lý do tại sao 80% trở thành mức mặc định trong thử nghiệm thương mại mặc dù các tiêu chuẩn cao hơn thường phổ biến trong nghiên cứu lâm sàng. Sự lựa chọn này phản ánh sự đánh đổi trong kinh doanh giữa chi phí bỏ lỡ một ý tưởng tốt và chi phí lưu lượng truy cập bỏ ra để tìm kiếm nó.

Kiểm thử thiếu hiệu quả là khuyết điểm phổ biến nhất và ít được chú ý nhất trong các chương trình tối ưu hóa. Các bài kiểm tra chạy trong một khoảng thời gian cố định thay vì dựa trên kích thước mẫu được tính toán sẽ mặc định là thiếu hiệu quả khi lưu lượng truy cập thấp hơn so với giả định. Hậu quả không chỉ là lãng phí công sức mà còn dẫn đến những kết luận sai lệch một cách có hệ thống: một chương trình thiếu hiệu quả sẽ tạo ra một loạt kết quả không thuyết phục được ghi nhận là "không có tác dụng", điều này theo thời gian tạo ra một niềm tin sai lầm trong tổ chức rằng toàn bộ một loại thay đổi nào đó không quan trọng. Những cơ hội thực sự bị bỏ lỡ vì công cụ đo lường không bao giờ đủ nhạy để phát hiện ra chúng.

Có một hậu quả thứ hai, nguy hiểm hơn. Trong một thí nghiệm thiếu sức mạnh thống kê, bất kỳ kết quả nào đạt được ý nghĩa thống kê đều phải cho thấy một hiệu ứng quan sát được lớn theo phép tính toán học. Điều này làm tăng quy mô rõ ràng của mỗi chiến thắng mà chương trình báo cáo, một hiện tượng đôi khi được gọi là lời nguyền của người chiến thắng. Do đó, một chương trình chạy các thử nghiệm thiếu sức mạnh thống kê sẽ báo cáo một loạt các chiến thắng ấn tượng, nhưng không chiến thắng nào được tái tạo ở mức độ như đã báo cáo khi triển khai thực tế, và khoảng cách giữa doanh thu dự kiến ​​và doanh thu thực tế cuối cùng sẽ phá hủy niềm tin vào phương pháp này.

Tăng cường hiệu quả không phải lúc nào cũng có nghĩa là chờ đợi lưu lượng truy cập tăng lên. Chọn một chỉ số ở giai đoạn đầu của phễu bán hàng với tỷ lệ cơ bản cao hơn sẽ tăng hiệu quả với cùng số lượng khách truy cập. Giảm sự biến động bằng cách sử dụng phân tích điều chỉnh theo biến số phụ, hoặc bằng cách giới hạn thử nghiệm trong một phân khúc đối tượng đồng nhất hơn, có thể rút ngắn đáng kể thời gian chạy. Thử nghiệm những thay đổi táo bạo hơn với hiệu quả dự kiến ​​lớn hơn sẽ làm tăng kích thước hiệu ứng mà thử nghiệm cần phát hiện và do đó làm giảm yêu cầu về mẫu. Mỗi quyết định này đều được đưa ra trước khi ra mắt và mỗi quyết định đều hiệu quả hơn việc kéo dài một thử nghiệm đã không có kết quả rõ ràng với hy vọng rằng các con số sẽ thay đổi.

Giảm thiểu phương sai xứng đáng được chú trọng hơn, bởi vì nó cải thiện độ nhạy mà không cần tăng lưu lượng truy cập. Kỹ thuật được thiết lập tốt nhất sử dụng dữ liệu trước thử nghiệm về mỗi khách truy cập, chẳng hạn như hành vi của họ trong những tuần trước khi thử nghiệm, làm biến phụ trong phân tích, loại bỏ sự biến đổi không liên quan đến phương pháp điều trị. Khi một tỷ lệ đáng kể lưu lượng truy cập là khách truy cập quay lại có lịch sử, điều này có thể giảm đáng kể số lượng mẫu cần thiết, giúp rút ngắn thời gian chạy trên toàn bộ chương trình thay vì chỉ cải thiện một thử nghiệm đơn lẻ. Việc chọn một chỉ số ít biến động hơn cũng có tác dụng tương tự: tỷ lệ chuyển đổi nhị phân ít nhiễu hơn so với doanh thu trên mỗi khách truy cập, vốn bị chi phối bởi một số ít đơn đặt hàng lớn, vì vậy một thử nghiệm dựa trên tỷ lệ chuyển đổi và báo cáo doanh thu như một thước đo thứ cấp thường đưa ra kết luận nhanh hơn nhiều so với một thử nghiệm dựa trực tiếp vào doanh thu.

Trong thực tiễn tư vấn, phân tích năng lực là nơi mà lộ trình thử nghiệm trở nên trung thực về những gì nó có thể mang lại. Trước khi... tối ưu hóa tỷ lệ chuyển đổi Chương trình bắt đầu, tính toán công suất khả dụng với lưu lượng truy cập hiện tại, cho khách hàng biết số lượng thử nghiệm mỗi quý là khả thi và những câu hỏi nào cần phương pháp hoàn toàn khác. Đối với các trang web mà phép tính không hỗ trợ nhịp độ thử nghiệm liên tục, con đường hiệu quả hơn thường là nghiên cứu có cấu trúc và đánh giá của chuyên gia, được thực hiện thông qua một... Kiểm tra trải nghiệm người dùngViệc thử nghiệm chỉ nên được dành cho một số ít các luồng có lưu lượng truy cập cao và giá trị cao, nơi mà các con số cho thấy hiệu quả khả thi.