Chương trình của bạn báo cáo người thắng cuộc khoảng một lần mỗi tháng. Cộng thêm mười hai người thắng cuộc và báo cáo thường niên cho biết tỷ lệ chuyển đổi sẽ cao hơn 18% so với năm ngoái. Bộ phận tài chính xem xét báo cáo lãi lỗ và nói rằng con số không đúng. Thông thường, báo cáo thường sai.
Trên nền tảng thử nghiệm của Microsoft, chỉ khoảng một phần ba số ý tưởng được thử nghiệm cải thiện được chỉ số mà chúng được thiết kế để cải thiện, và những ý tưởng được đưa vào triển khai được lựa chọn chính xác dựa trên việc chúng trông có vẻ tốt, và đó là nơi mà phép tính bắt đầu sai lệch (Kohavi và Longbotham, 2015Nhóm đối chứng không tham gia nghiên cứu là công cụ rẻ nhất để đo lường... chương trình thay vì kiểm tra từng cá nhân riêng lẻ.
Hướng dẫn này dành cho các trưởng nhóm CRO và chủ sở hữu phân tích đang thực hiện ít nhất một thử nghiệm mỗi tháng. Sau khi hoàn thành, bạn sẽ có thể xác định kích thước nhóm đối chứng đủ lớn để thực sự phát hiện ra hiệu quả của chương trình, chọn thời lượng và khung thời gian phân tích, và nhận biết các chế độ lỗi làm sai lệch kết quả trước khi trình bày.
Nhóm phản đối đo lường điều mà tổng số trận thắng không phản ánh.
Nhóm người dùng được chọn ngẫu nhiên được giữ lại trải nghiệm trước khi thay đổi, trong khi tất cả những người dùng khác nhận được tất cả các bản cập nhật thành công đã được triển khai. Sau vài tháng, bạn so sánh hai nhóm. Sự khác biệt nằm ở hiệu quả tích lũy, vẫn còn tác động của tất cả những gì bạn đã triển khai — chứ không phải là mười hai ước tính ngắn hạn được ghép lại với nhau.
Netflix sử dụng cùng một công cụ, mô tả "thử nghiệm A/B giữ lại" như một cách để "hiểu được tác động lâu dài, kiểm tra lại các giả định cũ trên các thành viên mới hơn và đo lường giá trị tích lũy" (Blog Công nghệ của Netflix).
Vì sao tổng số điểm bài kiểm tra lại phóng đại những gì đã xảy ra
Bốn cơ chế đẩy tổng thể vượt lên trên sự thật, và chúng cộng hưởng:
- Lời nguyền của người chiến thắng. Bạn chỉ khởi chạy các biến thể vượt qua ngưỡng ý nghĩa thống kê, do đó tập hợp các biến thể được khởi chạy sẽ bị nhiễu loạn ở phía trên. Lee và Shen tại Airbnb đã chính thức hóa sai lệch chọn lọc này và công bố một bản đính chính (KDD 2018).
- Tính mới lạ và vị thế tiên phong sẽ suy giảm. Khoảng thời gian ngắn giúp nắm bắt phản ứng với những điều mới mẻ. Ví dụ như trong Microsoft News, mức tăng ban đầu 28% về số lượt nhấp chuột vào một nút mới đã giảm dần từng ngày trong khoảng thời gian thử nghiệm (Sadeghi và cộng sự, 2022).
- Tương tác và hiệu quả giảm dần. Hai chiến thắng được kiểm chứng độc lập ở cùng một bước trong quy trình bán hàng thường không cộng dồn hiệu quả; chúng cạnh tranh nhau để giành lấy cùng một người dùng tiềm năng.
- Phân tích độ trễ. Việc theo dõi, chuyển đổi chỉ số và báo cáo có chọn lọc trong mỗi ca làm việc đã đưa bộ dữ liệu được khởi chạy lên cao hơn (Eppo).
Điều này không có nghĩa là các bài kiểm tra của bạn là giả mạo. Nó chỉ có nghĩa là tổng số đó là giới hạn trên, chứ không phải là ước tính.
Hãy tính toán kích thước khu vực thử nghiệm trước khi xây dựng.
Đây là bước mà hầu hết mọi người đều bỏ qua, và cũng là nơi mà hầu hết các trường hợp kiểm chứng thất bại. Kiểm chứng là một thử nghiệm hai nhánh với sự phân chia không cân xứng có chủ ý, và độ chính xác được quyết định bởi nhánh có số lượng mẫu ít hơn. Tổng số mẫu cần thiết tỷ lệ thuận với... 1 / (p × (1 − p)), Nơi p Đây là tỷ lệ người dùng không tham gia thử nghiệm. Do đó, tỷ lệ 1% người dùng không tham gia thử nghiệm cần lượng truy cập gấp khoảng 25 lần so với nhóm thử nghiệm cân bằng để thấy được hiệu quả tương tự.
Tổng số người dùng cần thiết trong suốt giai đoạn kiểm chứng, với tỷ lệ chuyển đổi cơ bản là 2%, độ mạnh thống kê 80% và mức ý nghĩa hai phía 5%:
| Cổ phần nắm giữ | Người dùng cần phát hiện mức tăng tương đối +5%. | Người dùng cần phát hiện mức tăng tương đối +10%. |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
Bây giờ hãy so sánh điều đó với các giá trị mặc định của nhà cung cấp. Statsig đề xuất "tỷ lệ giữ lại thấp, chỉ ở mức một chữ số, chẳng hạn như 1%–2%" (Thống kê); Optimizely cảnh báo trên 5% (Optimizely); GrowthBook báo cáo rằng Facebook và các nhóm X đang hoạt động với mức lợi nhuận 5% hoặc thấp hơn (Sách tăng trưởng).
Những con số đó đúng với tác giả của chúng nhưng lại sai với hầu hết các trang web tầm trung. Một trang thương mại điện tử khu vực với 400,000 người dùng hàng tháng sẽ tích lũy được 1.2 triệu lượt truy cập trong một quý. Với tỷ lệ giữ lại 1%, nó sẽ cần khoảng một thập kỷ. Với tỷ lệ 10%, nó vẫn chưa đạt được mức tăng trưởng +5%. Với tỷ lệ 20%, nó phát hiện mức tăng trưởng +5% trong một quý và +10% trong khoảng một tháng. Hãy chọn tỷ lệ chia sẻ dựa trên lưu lượng truy cập của bạn, chứ không phải theo mặc định của nhà cung cấp. Nếu câu trả lời trung thực là 20%, hãy nói rõ sự đánh đổi đó với doanh nghiệp: một phần năm số người dùng chờ đợi một quý để có các tính năng mới, đổi lại là việc biết được quý đó có đáng giá hay không.
Chọn khoảng thời gian và cửa sổ phân tích.
Statsig khuyến nghị nên chờ từ ba đến sáu tháng trước khi tung ra kết quả kiểm chứng; GrowthBook khuyến nghị nên có một giai đoạn hoạt động tích cực từ nửa tháng đến một quý, sau đó là giai đoạn phân tích từ hai đến bốn tuần để các hiệu ứng ổn định và các khoảng thời gian xem xét được lấp đầy.
Nguyên tắc làm việc của chúng tôi: thời gian hoạt động là khoảng thời gian dài hơn giữa thời gian mà bảng kích thước yêu cầu và một chu kỳ kinh doanh đầy đủ. Trong khu vực này, điều đó có nghĩa là bao gồm ít nhất một giai đoạn cao điểm của chiến dịch và một tháng ổn định, vì vậy kết quả không chỉ được quyết định bởi ngày 11/11. Sau đó, hãy đóng băng các cờ và chờ cho đến khi cửa sổ phân tích kết thúc trước khi bất kỳ ai mở bảng điều khiển.
Xây dựng nó: bảy điều cần làm đúng
- Ngẫu nhiên trên Mã định danh người dùng hoặc tài khoản cố định, phía máy chủMột cookie bị chặn bởi biểu ngữ yêu cầu chấp thuận hoặc người dùng xóa sẽ làm rò rỉ thông tin giữa những người dùng khác nhau.
- Chỉ định nhóm đối chứng một lần, ngay phía trướcTrước khi thực hiện các lần ra mắt mà bạn muốn đo lường. Một nhóm đối chứng được tạo ra sau đó không phải là nhóm đối chứng thực sự.
- Tất cả người chiến thắng được khởi chạy đều được định tuyến qua cùng một hệ thống cờ, vì vậy "holdout = off" thực sự có nghĩa là trải nghiệm cũ. Người dùng bị loại sẽ nhận được các giá trị cổng và lớp mặc định, giống như cách triển khai của Statsig.
- Hãy giữ một cách rõ ràng danh sách loại trừCác bản vá lỗi bảo mật, công việc tuân thủ pháp lý và khả năng tiếp cận, và các thay đổi về giá cả sẽ được cập nhật cho tất cả mọi người. Ghi lại ngày tháng của từng trường hợp ngoại lệ.
- Chọn từ hai đến bốn bền chặt Các chỉ số (doanh thu trên mỗi người dùng, tỷ lệ giữ chân khách hàng, tần suất đặt hàng) cộng với tỷ lệ chuyển đổi chính của bạn. Không thêm chỉ số thứ năm.
- Hãy lập sổ đăng ký ghi ngày ra mắt cho mọi thay đổi được triển khai trong khoảng thời gian đã định, kèm theo số liệu đo lường hiệu quả của chúng. Đó là cơ sở để bạn so sánh với phiên bản chưa được kiểm chứng.
- Hãy bảo bộ phận kỹ thuật giữ nguyên các cờ (flags) trong mã nguồn cho đến khi cửa sổ phân tích đóng lại. Các trường hợp trì hoãn thường bị loại bỏ do việc dọn dẹp cờ quá sớm hơn là do bất kỳ lý do thống kê nào khác.
Hãy đọc kết quả một cách trung thực.
Tính toán tỷ lệ giữa lực nâng đo được từ dữ liệu kiểm chứng và tổng lực nâng trong sổ đăng ký phóng của bạn. Ngưỡng làm việc của chúng tôi — là các quyết định dựa trên đánh giá chủ quan, không phải là các tiêu chuẩn đã được công bố:
| Mức nâng giữ lại ÷ mức nâng tổng cộng | Reading | Hoạt động |
|---|---|---|
| ≥ 0.6, khoảng giá trị không bao gồm số 0 | Chương trình này nhìn chung là trung thực. | Báo cáo số lượng sản phẩm chưa bán ra bên ngoài, cập nhật dự báo thường xuyên. |
| 0.3 - 0.6 | Sự co rút bình thường do chọn lọc và tương tác | Áp dụng tỷ lệ quan sát được như một khoản giảm trừ cho các trường hợp kinh doanh trong tương lai. |
| < 0.3, hoặc khoảng giá trị bao gồm số không. | Tổng số tiền không phải là bằng chứng. | Ngừng trích dẫn tổng mức nâng; xem xét lại các tiêu chí chiến thắng và các quy tắc dừng. |
| Ước tính điểm âm | Việc vận chuyển hàng hóa này tốn tiền. | Kiểm tra ngược lại từng đợt ra mắt sản phẩm lớn nhất một cách riêng lẻ. |
Một lưu ý quan trọng về phương án thay thế mà các đội đang nhắm tới. Nếu bạn dự định bỏ qua giai đoạn chờ đợi và so sánh quý này với năm ngoái, hãy lưu ý rằng tỷ lệ lạm phát giá tiêu dùng hàng năm của Thổ Nhĩ Kỳ là 31.51% vào tháng 8 năm 2026 (Số liệu của TÜİK, công bố ngày 3 tháng 9 năm 2026.Doanh thu trên mỗi người dùng tính bằng lira không thể so sánh được giữa các giai đoạn ở tỷ giá đó, và việc điều chỉnh giảm tỷ giá lại đưa ra thêm những giả định riêng. Phương pháp ngẫu nhiên hóa đồng thời giải quyết được vấn đề này: cả hai nhóm đều hoạt động trong cùng một nền kinh tế vào cùng một ngày.
[CẦN DỮ LIỆU NỘI BỘ: một ví dụ về khách hàng của Switas — thời lượng chương trình, quy mô lưu lượng truy cập, tổng mức tăng trưởng thử nghiệm so với mức tăng trưởng đo được từ nhóm đối chứng, và tỷ lệ nhóm đối chứng được sử dụng.]
Sáu cách một người ngoan cố lặng lẽ rời bỏ vị trí
- Ô nhiễm. Việc dùng chung thiết bị, đăng xuất khỏi hệ thống và đặt lại mã định danh khiến người dùng chuyển đổi giữa các hệ thống. Cần đo lường tỷ lệ chuyển đổi; nếu tỷ lệ này vượt quá khoảng 2% thì ước tính không đáng tin cậy.
- Rò rỉ âm thầm. Một thay đổi được triển khai bên ngoài hệ thống cờ (một quy tắc CDN, một chỉnh sửa CMS, một mẫu mới) cũng đến được vùng kiểm duyệt và thu hẹp khoảng cách về gần bằng không.
- Sự xâm lấn dần dần. Mỗi quyết định kiểu "cái này phải được phân phối cho tất cả mọi người" đều loại bỏ một lần ra mắt sản phẩm khỏi những gì bạn đang đo lường. Mười quyết định như vậy và bạn sẽ chẳng đo lường được gì cả.
- Tỷ lệ mẫu không khớp. Việc phân chia tỷ lệ đang lệch khỏi dự định. Hãy kiểm tra hàng tuần; việc không tham gia thử nghiệm với SRM cũng vô hiệu như bất kỳ thử nghiệm nào khác với SRM.
- Thả sớm. Các thử nghiệm toàn cầu mặc định của Optimizely không thể tạm dừng, chỉ có thể kết thúc. Hãy coi đó là quy tắc: kết thúc sớm sẽ làm mất cơ hội.
- Động cơ hoạt động yếu ngay từ đầu. Lỗi thường gặp nhất. Kết quả bằng không từ một nhóm thử nghiệm 2% không cho bạn biết gì về chương trình của bạn mà chỉ cho bạn biết về cách bạn chọn kích thước mô hình phù hợp.
Phương pháp này có những nhược điểm sau:
Một nhóm đối chứng cho thấy quy mô của hiệu ứng tổng hợp, chứ không phải là lần ra mắt nào tạo ra hiệu ứng đó. Việc phân bổ vẫn cần các thử nghiệm riêng lẻ. Nó không thể đo lường bất cứ điều gì phải được triển khai cho tất cả mọi người, vì vậy công việc tuân thủ nằm ngoài phạm vi của nó. Nó không phù hợp khi cùng một người dùng không quay lại trong khoảng thời gian đã định, và nó không nói lên điều gì về thương hiệu hoặc hiệu ứng lan tỏa ngoại tuyến giữa các nhóm. Dưới khoảng 100,000 người dùng hàng tháng, không có thị phần nào vừa có thể phát hiện vừa có thể bảo vệ được; ở quy mô đó, việc đọc kết quả trước và sau được kiểm soát cẩn thận cộng với xác thực định tính là phương án dự phòng trung thực, với những điểm yếu được nêu rõ.
Các câu hỏi thường gặp
Nhóm phản đối nên có bao nhiêu thành viên?
Đủ lớn để phát hiện hiệu ứng tích lũy mà bạn mong đợi, đây là một phép tính chứ không phải là một quy ước. Với mức cơ sở 2% và mục tiêu tương đối +5%, nhóm đối chứng 5% cần khoảng 3.25 triệu người dùng trong khi nhóm đối chứng 20% cần khoảng 971,000 người dùng.
Cuộc đình công nên kéo dài bao lâu?
Các nhà cung cấp đề xuất thời gian hoạt động từ ba đến sáu tháng cộng thêm cửa sổ phân tích từ hai đến bốn tuần. Thêm vào đó, điều kiện là cửa sổ phân tích phải bao gồm ít nhất một tháng cao điểm của chiến dịch và một tháng bình thường, để kết quả không chỉ phụ thuộc vào một sự kiện bán hàng duy nhất.
Tại sao tỷ lệ nâng tạ khi không kiểm tra lại của tôi lại thấp hơn tổng tỷ lệ thắng khi kiểm tra?
Đó là kết quả dự kiến, không phải lỗi. Lời nguyền của người chiến thắng, sự suy giảm tính mới lạ, sự tương tác giữa các thay đổi và sự chậm trễ trong phân tích đều làm tăng tổng số. Con số được giữ lại là con số gần với thực tế hơn.
Tôi có thể tạo một bản dự phòng sau khi đã triển khai mọi thứ rồi không?
Không phải đối với những lần ra mắt đó — mọi người đều đã nhận được chúng rồi. Chế độ chờ chỉ đo lường những thay đổi bị giới hạn kể từ ngày bắt đầu. Bạn vẫn có thể bắt đầu một chế độ như vậy ngay hôm nay cho hai quý tiếp theo.
Việc hạn chế người dùng có ảnh hưởng đến doanh thu không?
Nếu các chiến dịch quảng cáo của bạn thực sự hiệu quả, chi phí sẽ chỉ bị giới hạn bởi tỷ lệ người dùng thử nghiệm nhân với hiệu quả thực tế. Nếu chúng không hiệu quả, việc giữ lại người dùng thử nghiệm sẽ không tốn chi phí gì và giúp bạn tránh phải lặp lại chúng.
Nếu kết quả kiểm chứng không có gì thay đổi thì sao?
Trước tiên, hãy kiểm tra công suất so với bảng kích thước của bạn, sau đó là điểm giao nhau và rò rỉ. Một kết quả thực sự ổn định và có công suất phù hợp có nghĩa là hai phần tư thời gian vận chuyển không làm thay đổi chỉ số: học hỏi thì tốn kém, không làm thì còn tốn kém hơn.
Bước tiếp theo
Nếu bạn tiến hành các thử nghiệm và không thể nói được giá trị của một năm thành công là bao nhiêu, hãy đo lường hiệu suất của một nhóm đối chứng so với lưu lượng truy cập của chính bạn trong tuần này — hoặc để chúng tôi đo lường, xây dựng và phân tích kết quả đó như một phần của nghiên cứu. Sự tham gia của CRO.
nguồn
- Kohavi & Longbotham, "Thí nghiệm có kiểm soát trực tuyến và thử nghiệm A/B" (2015)
- Lee & Shen (Airbnb), "Lời nguyền của người chiến thắng", KDD 2018
- Sadeghi và cộng sự (Microsoft), "Tính mới lạ và ưu thế hàng đầu", Technometrics, 2022
- Netflix TechBlog, "Ứng dụng suy luận nhân quả tại Netflix"
- Tài liệu Statsig, "Những người không chịu hợp tác"
- GrowthBook, "Những người chưa chịu hợp tác trong GrowthBook"
- Optimizely Support, "Những người chưa hợp tác trên toàn cầu"
- Eppo, "Toàn thể không bằng tổng các phần cấu thành nên nó"
- Ban Chiến lược và Ngân sách — TÜİK CPI, tháng 8 năm 2026
