Lan can bảo vệ Metric

Chỉ số kiểm soát (guardrail metric) là một thước đo được theo dõi trong suốt một thử nghiệm, không phải để xác định xem biến thể đó có thắng hay không, mà để phát hiện xem nó có gây ra thiệt hại không thể chấp nhận được ở nơi khác hay không. Chỉ số chính trả lời câu hỏi mà thử nghiệm được thiết kế để đặt ra; các chỉ số kiểm soát trả lời câu hỏi mà không ai hỏi nhưng mọi người đều nên hỏi. Một thử nghiệm thanh toán tối ưu hóa cho các đơn hàng hoàn tất có thể có các chỉ số kiểm soát về giá trị đơn hàng trung bình, tỷ lệ trả hàng, số lần liên hệ với dịch vụ khách hàng, thời gian tải trang và tỷ lệ lỗi, bất kỳ chỉ số nào trong số đó đều có thể xấu đi theo cách khiến một chiến thắng nhỏ cũng trở nên bất lợi về mặt thương mại.

Các rào cản kiểm soát tồn tại vì việc tối ưu hóa tạo ra những động lực mạnh mẽ để thay đổi một chỉ số nào đó, và hầu như bất kỳ chỉ số nào cũng có thể được thay đổi bằng cách hy sinh một chỉ số khác. Việc loại bỏ thông tin chi phí vận chuyển khỏi trang sản phẩm có thể làm tăng tỷ lệ thêm vào giỏ hàng nhưng lại làm tăng tỷ lệ bỏ giỏ hàng. Thông điệp gây áp lực mạnh mẽ có thể làm tăng tỷ lệ chuyển đổi tức thì nhưng lại làm tổn hại lòng tin và tăng tỷ lệ hoàn tiền. Việc đơn giản hóa biểu mẫu bằng cách loại bỏ các câu hỏi sàng lọc có thể làm tăng số lượng khách hàng tiềm năng nhưng lại làm giảm chất lượng khách hàng tiềm năng đến mức doanh số bán hàng giảm. Trong mỗi trường hợp, chỉ số chính được cải thiện nhưng hoạt động kinh doanh lại trở nên tồi tệ hơn, và chỉ có rào cản kiểm soát mới có thể ngăn chặn điều đó.

Các biện pháp bảo vệ hiệu quả được lựa chọn một cách có chủ đích cho từng thử nghiệm chứ không phải áp dụng như một danh sách chung chung, mặc dù một bộ tiêu chuẩn cố định rất hữu ích như một cơ sở tham khảo. Bộ tiêu chuẩn cố định thường bao gồm tình trạng kỹ thuật, chẳng hạn như tỷ lệ lỗi và hiệu suất trang, và tình trạng kinh doanh, bao gồm doanh thu trên mỗi khách truy cập và giá trị đơn hàng. Các biện pháp bảo vệ cụ thể cho từng thử nghiệm bao gồm những cách thức có thể gây hại mà sự thay đổi cụ thể này có thể gây ra, đây là câu hỏi tốt nhất nên được trả lời bởi những người hiểu rõ hậu quả tiếp theo: dịch vụ khách hàng, thực hiện đơn hàng, bán hàng và tài chính, những người thường không được tham khảo ý kiến ​​trong quá trình thiết kế thử nghiệm.

Các tiêu chí an toàn được phân tích khác với các chỉ số chính. Chỉ số chính được kiểm tra xem có sự cải thiện đáng kể hay không; các tiêu chí an toàn được kiểm tra xem có gây ra tác hại đáng kể hay không, đây là câu hỏi về tính không thua kém chứ không phải tính vượt trội. Trên thực tế, các nhóm xác định trước một mức dung sai, chẳng hạn như mức giảm tương đối không quá 1% về giá trị đơn hàng trung bình, và coi việc vi phạm mức dung sai này là lý do để từ chối biến thể bất kể kết quả chính như thế nào. Vì nhiều tiêu chí an toàn được kiểm tra cùng một lúc, nên việc cho phép so sánh nhiều lần là hợp lý, nếu không, một tập hợp các tiêu chí an toàn lớn đôi khi sẽ đánh dấu tác hại một cách ngẫu nhiên.

Một số chỉ số bảo vệ không thể đo lường được trong khung thời gian thử nghiệm. Tỷ lệ hoàn trả, tỷ lệ hủy đăng ký, tỷ lệ mua lại và giá trị trọn đời của sản phẩm đều chỉ được xác định sau nhiều tuần hoặc nhiều tháng kể từ khi thử nghiệm kết thúc. Những chỉ số này đòi hỏi phải có sự điều chỉnh sau khi ra mắt hoặc phân tích theo dõi muộn hơn, và việc không thể đánh giá ngay lập tức là lý do để thận trọng hơn về loại thay đổi có thể ảnh hưởng đến chúng, chứ không phải là lý do để bỏ qua chúng.

Việc thiết lập mức độ chịu đựng đòi hỏi một cuộc thảo luận rõ ràng về mức độ thiệt hại nào là không thể chấp nhận được, và cuộc thảo luận đó sẽ dễ dàng hơn khi được trình bày bằng thuật ngữ thương mại thay vì thống kê. Mức giảm 1% giá trị đơn hàng trung bình trên cơ sở doanh thu lớn có thể gây thiệt hại nhiều hơn so với lợi ích cải thiện tỷ lệ chuyển đổi, và việc nêu rõ cả hai bằng đơn vị tiền tệ sẽ làm cho sự đánh đổi trở nên rõ ràng đối với tất cả mọi người tham gia cuộc họp. Tự động hóa là yếu tố giúp các biện pháp bảo vệ có hiệu quả trong thực tế: việc xem xét thủ công vào cuối một thử nghiệm là quá muộn đối với một biến thể đã gây thiệt hại doanh thu trong ba tuần, vì vậy, giải pháp hữu ích là giám sát liên tục một số ít các chỉ số quan trọng, với ngưỡng cảnh báo được thiết lập đủ linh hoạt để tránh các cảnh báo sai liên tục và một lộ trình leo thang đã được thống nhất khi có cảnh báo xảy ra. Cảnh báo cần được gửi đến người có thẩm quyền để dừng thử nghiệm ngay lập tức.

Việc xác định các giới hạn an toàn là một trong những điểm rõ ràng nhất cho thấy công việc tối ưu hóa cần được kết nối với các hoạt động kinh doanh khác chứ không phải là một chuyên môn riêng biệt. Dịch vụ CRO Việc tham gia thường thiết lập các quy tắc an toàn chung trong giai đoạn thiết lập ban đầu và xem xét lại các quy tắc cụ thể cho từng thử nghiệm trong mỗi phiên ưu tiên với sự đóng góp ý kiến ​​từ các bên liên quan về mặt vận hành. thương mại điện tử Trong môi trường này, mối liên hệ với việc thực hiện đơn hàng và trả hàng đặc biệt quan trọng, bởi vì những chiến thắng hấp dẫn nhất về tỷ lệ chuyển đổi thường là những chiến thắng đẩy chi phí vào khâu hậu cần mà nhóm tối ưu hóa không bao giờ nhìn thấy.