Nhóm kiên quyết

Nhóm đối chứng là một phần ngẫu nhiên của đối tượng được cố tình loại trừ khỏi một sự thay đổi, một chiến dịch hoặc toàn bộ chương trình thay đổi, để có thể so sánh hiệu quả tích lũy trên nhóm đó với tất cả những người khác. Trong khi một thử nghiệm tiêu chuẩn so sánh hai phiên bản của cùng một thứ trong vài tuần, thì nhóm đối chứng đo lường tác động tổng hợp của nhiều quyết định trong nhiều tháng, trả lời một câu hỏi mà các thử nghiệm riêng lẻ không thể trả lời: liệu tất cả những nỗ lực này có thực sự mang lại sự thay đổi cho doanh nghiệp hay không?

Nhu cầu này phát sinh từ một vấn đề kế toán quen thuộc trong các chương trình tối ưu hóa và tiếp thị. Các thí nghiệm riêng lẻ báo cáo mức tăng trưởng riêng lẻ, và những mức tăng trưởng đó được cộng lại thành một con số tác động hàng năm được trình bày cho ban lãnh đạo. Nhưng tổng số này hầu như luôn lớn hơn thực tế, bởi vì hiệu quả của các thí nghiệm thành công chồng chéo, suy giảm, tương tác và thường bị phóng đại do dừng thí nghiệm sớm hoặc do "lời nguyền của người chiến thắng". Một thí nghiệm duy trì lâu dài cung cấp một phép đo trực tiếp duy nhất về đóng góp của toàn bộ chương trình, từ đó hoặc xác nhận các con số được báo cáo hoặc tiết lộ một khoảng trống cần được giải thích.

Việc giữ lại một nhóm người dùng (holdout) có nhiều hình thức. Việc giữ lại một nhóm người dùng sau khi ra mắt sản phẩm (post-launch holdback) giữ lại một tỷ lệ nhỏ người dùng ở nhóm đối chứng sau khi phiên bản chiến thắng được triển khai, để có thể theo dõi hiệu quả trong nhiều tháng và kiểm tra sự suy giảm. Việc giữ lại một nhóm người dùng ở cấp độ chương trình (program-level holdout) loại trừ một tỷ lệ người dùng khỏi mọi thay đổi tối ưu hóa trong một quý hoặc lâu hơn. Việc giữ lại một nhóm người dùng ở cấp độ tiếp thị (marketing holdout) ngăn chặn việc liên hệ với chiến dịch đối với một tập hợp con được chọn ngẫu nhiên để đo lường phản hồi gia tăng thay vì phản hồi được quy cho, điều này thường cho thấy rằng một phần đáng kể các chuyển đổi được quy cho sẽ vẫn xảy ra dù sao đi nữa. Mỗi phương pháp trả lời một câu hỏi khác nhau, và mỗi phương pháp đều yêu cầu nhóm bị loại trừ phải được chọn ngẫu nhiên và giữ ổn định trong suốt thời gian đo lường.

Các yếu tố thiết kế đặt ra rất khắt khe. Nhóm phải đủ lớn để phát hiện ra hiệu ứng tích lũy dự kiến, điều này thường dễ hơn so với một thử nghiệm đơn lẻ vì hiệu ứng được đo lường lớn hơn. Việc phân công phải được duy trì xuyên suốt các phiên, thiết bị (nếu có thể) và kênh, nếu không sự nhiễu loạn sẽ làm giảm độ chính xác của việc so sánh. Việc loại trừ phải được thực thi một cách nghiêm túc, điều này khó hơn tưởng tượng khi có hàng chục nhóm đang triển khai các thay đổi thông qua các cơ chế khác nhau. Và tổ chức phải chấp nhận chi phí cố ý của việc trì hoãn các cải tiến đối với khách hàng thực sự trong một thời gian dài, đây là một quyết định về quản trị hơn là về phân tích.

Chi phí là điểm gây tranh cãi chính, và nó cần một câu trả lời thẳng thắn. Việc loại bỏ 5% lưu lượng truy cập khỏi một chương trình thực sự cải thiện tỷ lệ chuyển đổi sẽ dẫn đến việc mất đi một phần doanh thu. Lập luận phản bác là nếu không có nhóm đối chứng, không ai biết liệu chương trình đó có cải thiện tỷ lệ chuyển đổi hay không, và số tiền chi cho nó thường lớn hơn nhiều so với doanh thu bị mất từ ​​nhóm bị loại trừ. Các tổ chức đã thực hiện thử nghiệm loại trừ chương trình lần đầu tiên thường thấy hiệu quả đo được nhỏ hơn đáng kể so với kết quả thử nghiệm tổng hợp, điều này gây khó chịu nhưng chính xác là thông tin cần thiết để phân bổ ngân sách một cách hợp lý.

Việc thảo luận nội bộ về việc trì hoãn tham gia thường diễn ra tốt hơn khi chi phí được định lượng thay vì chỉ là một khái niệm trừu tượng. Nếu hiệu quả ước tính của chương trình là một tỷ lệ cải thiện nhất định, thì việc giữ lại 5% lưu lượng truy cập sẽ làm mất đi 5% mức cải thiện đó, một con số thường nhỏ so với chi phí của chính chương trình và nhỏ đến mức không đáng kể so với rủi ro khi tiếp tục đầu tư vào một thứ mà đóng góp của nó chưa được biết rõ. Điều này cũng giúp định hình nhóm như một công cụ đo lường liên tục thay vì một sự tước đoạt, vì cơ chế tương tự hỗ trợ việc giám sát sự suy giảm sau khi triển khai và cung cấp cơ sở cho bất kỳ tuyên bố nào sau đó về giá trị của chương trình. Trong trường hợp việc giữ lại các cải thiện gây ra lo ngại về tính công bằng, như trong các dịch vụ có nghĩa vụ theo luật định hoặc hợp đồng, thì phản ứng thích hợp là sử dụng một nhóm nhỏ hơn, một khoảng thời gian ngắn hơn, hoặc một thiết kế theo khu vực địa lý thay vì từ bỏ hoàn toàn việc đo lường.

Việc thiết lập một nhóm phản đối thường là một trong những khuyến nghị quan trọng nhất trong một cuộc thảo luận. quản lý tăng trưởng Sự tham gia, bởi vì nó thay đổi cơ sở đánh giá toàn bộ chương trình từ một chồng các báo cáo riêng lẻ sang một kết quả đo lường duy nhất. Việc triển khai thường yêu cầu khả năng phân khúc đối tượng và xác định danh tính được duy trì bởi... Phân tích dữ liệu chức năng, vì một sự cố rò rỉ thông tin qua các kênh hoặc thiết bị khác nhau sẽ không đo lường được bất cứ điều gì đáng tin cậy cả.