Çağdaş Polat · · 6 phút đọc
Thử nghiệm A/B là phương pháp quan trọng được dùng để tối ưu hóa website và ứng dụng, cho phép doanh nghiệp so sánh hai phiên bản của một trang web hoặc ứng dụng để xác định phiên bản nào hoạt động hiệu quả hơn. Hiểu rõ các chỉ số và thuật ngữ chính trong thử nghiệm A/B là điều cần thiết để diễn giải kết quả chính xác. Trong bài viết này, chúng ta sẽ xem xét các chỉ số và thuật ngữ quan trọng của thử nghiệm A/B, bao gồm giá trị p (p-value), khoảng tin cậy, kiểm định một phía và hai phía, điểm z (z-score), công suất quan sát (observed power), biến thể, nhóm đối chứng, doanh thu tăng thêm, tỷ lệ chuyển đổi và tính toán Bayesian.
Các chỉ số và thuật ngữ chính trong thử nghiệm A/B
1. Biến thể (Variant)
Biến thể là một trong các phiên bản được thử nghiệm trong một thử nghiệm A/B. Thông thường, phiên bản hiện có được gọi là bản đối chứng (control), còn phiên bản mới là biến thể.
Ví dụ: Trong một thử nghiệm A/B cho trang đích, Phiên bản A (trang hiện tại) là bản đối chứng, và Phiên bản B (thiết kế mới) là biến thể.
2. Nhóm đối chứng (Control Group)
Nhóm đối chứng là nhóm người dùng được xem phiên bản gốc (bản đối chứng) trong một thử nghiệm A/B. Nhóm này đóng vai trò đường cơ sở để so sánh hiệu suất của biến thể.
Ví dụ: Nếu 10.000 người dùng truy cập một website, 5.000 người có thể xem trang đối chứng (nhóm đối chứng), và 5.000 người có thể xem trang biến thể.

3. Doanh thu tăng thêm (Incremental Revenue)
Doanh thu tăng thêm là khoản doanh thu bổ sung phát sinh từ những thay đổi được thực hiện trong một thử nghiệm A/B. Chỉ số này giúp đánh giá tác động tài chính của thử nghiệm.
Ví dụ: Nếu trang biến thể làm tăng giá trị đơn hàng trung bình thêm 5 đô la và có thêm 1.000 lượt mua, doanh thu tăng thêm là 5.000 đô la.

4. Tỷ lệ chuyển đổi (Conversion Rate)
Tỷ lệ chuyển đổi là phần trăm người dùng thực hiện một hành động mong muốn, chẳng hạn mua hàng hoặc đăng ký nhận bản tin, trên tổng số khách truy cập.
Ví dụ: Nếu 100 trên 1.000 khách truy cập mua hàng, tỷ lệ chuyển đổi là 10%.
5. Giá trị p (P-Value)
Giá trị p đo xác suất mà sự khác biệt quan sát được giữa hai biến thể xảy ra do ngẫu nhiên. Giá trị p càng thấp (thường nhỏ hơn 0,05) cho thấy sự khác biệt quan sát được có ý nghĩa thống kê.
Ví dụ: Giả sử một thử nghiệm A/B so sánh hai phiên bản của trang đích. Phiên bản A có tỷ lệ chuyển đổi 5%, và Phiên bản B có tỷ lệ chuyển đổi 7%. Nếu giá trị p là 0,03, có 3% khả năng sự khác biệt quan sát được xảy ra do ngẫu nhiên, cho thấy có sự khác biệt đáng kể giữa hai phiên bản.

6. Khoảng tin cậy (Confidence Interval)
Khoảng tin cậy cung cấp một phạm vi mà trong đó quy mô tác động thực sự được kỳ vọng nằm trong, với một mức độ tin cậy nhất định (thường là 95%). Nó giúp đánh giá độ tin cậy của kết quả thử nghiệm.
Ví dụ: Trong cùng thử nghiệm A/B đó, khoảng tin cậy 95% cho chênh lệch tỷ lệ chuyển đổi có thể là [1%, 3%]. Điều này có nghĩa là chúng ta tin cậy 95% rằng chênh lệch thực sự về tỷ lệ chuyển đổi nằm trong khoảng 1% đến 3%.
7. Kiểm định một phía và hai phía (One-Sided và Two-Sided Tests)
Kiểm định một phía đánh giá hướng của tác động (ví dụ: liệu Phiên bản B có tốt hơn Phiên bản A hay không), trong khi kiểm định hai phía đánh giá liệu có bất kỳ sự khác biệt nào theo cả hai hướng hay không.
Ví dụ kiểm định một phía: Kiểm tra xem tỷ lệ chuyển đổi của Phiên bản B có cao hơn Phiên bản A hay không.
Ví dụ kiểm định hai phía: Kiểm tra xem có bất kỳ sự khác biệt nào giữa tỷ lệ chuyển đổi của Phiên bản A và Phiên bản B hay không, bất kể theo hướng nào.

8. Điểm z (Z-Score)
Điểm z đo một phần tử lệch bao nhiêu độ lệch chuẩn so với giá trị trung bình. Trong thử nghiệm A/B, nó được dùng để xác định ý nghĩa của sự khác biệt quan sát được giữa hai biến thể. Các mức tin cậy phổ biến và điểm z tương ứng:
- Khoảng tin cậy 95%
- Điểm z hai phía: 1,96
- Điểm z một phía: 1,65
- Khoảng tin cậy 99%
- Điểm z hai phía: 2,58
- Điểm z một phía: 2,33
- Khoảng tin cậy 90%
- Điểm z hai phía: 1,64
- Điểm z một phía: 1,28
Ví dụ: Nếu điểm z cho chênh lệch tỷ lệ chuyển đổi giữa Phiên bản A và Phiên bản B là 2,5, điều đó cho thấy sự khác biệt cách giá trị trung bình 2,5 độ lệch chuẩn, gợi ý một sự khác biệt có ý nghĩa thống kê.
9. Công suất quan sát (Observed Power)
Công suất quan sát là xác suất thử nghiệm bác bỏ đúng giả thuyết không khi thực sự có tác động. Công suất quan sát càng cao cho thấy khả năng phát hiện sự khác biệt thực càng lớn.
Ví dụ: Trong một thử nghiệm A/B có công suất quan sát 0,8 (80%), có 80% khả năng phát hiện được sự khác biệt thực giữa các biến thể nếu nó tồn tại.

10. Tính toán Bayesian (Bayesian Calculation)
Tính toán Bayesian là việc dùng định lý Bayes để cập nhật ước tính xác suất cho một giả thuyết khi có thêm bằng chứng. Trong thử nghiệm A/B, nó cung cấp một khung xác suất để đưa ra quyết định dựa trên dữ liệu.
Ví dụ: Dùng phương pháp Bayesian, bạn có thể xác định xác suất một biến thể tốt hơn bản đối chứng dựa trên dữ liệu quan sát được, thay vì chỉ dựa vào giá trị p truyền thống.

11. Thống kê tần suất (Frequentist Statistics)
Thống kê tần suất là cách tiếp cận truyền thống trong kiểm định giả thuyết, tập trung vào tần suất hoặc tỷ lệ của dữ liệu. Nó dựa trên các tập dữ liệu cố định và không đưa vào kiến thức trước đó hay các phân phối xác suất.
Ví dụ: Trong cách tiếp cận tần suất đối với thử nghiệm A/B, bạn sẽ dùng giá trị p và khoảng tin cậy để xác định ý nghĩa của kết quả thử nghiệm, mà không đưa vào các xác suất tiên nghiệm.
Ví dụ thực tế
Ví dụ 1: Thử nghiệm A/B chiến dịch email
Một công ty muốn thử nghiệm hai tiêu đề email để xem tiêu đề nào cho tỷ lệ mở cao hơn.
- Tiêu đề A: tỷ lệ mở 25%
- Tiêu đề B: tỷ lệ mở 28%
- Giá trị p: 0,02 (cho thấy có sự khác biệt đáng kể)
- Khoảng tin cậy: [2%, 5%] (tin cậy 95% rằng chênh lệch thực sự về tỷ lệ mở nằm trong khoảng 2% đến 5%)
- Điểm z: 2,33 (gợi ý một sự khác biệt có ý nghĩa thống kê)
- Công suất quan sát: 0,85 (85% khả năng phát hiện sự khác biệt thực)
Ví dụ 2: Thử nghiệm A/B trang đích của website
Một website thương mại điện tử thử nghiệm hai thiết kế trang đích để xác định thiết kế nào mang lại nhiều lượt mua hơn.
- Thiết kế A: tỷ lệ chuyển đổi 4%
- Thiết kế B: tỷ lệ chuyển đổi 5%
- Giá trị p: 0,045 (cho thấy có sự khác biệt đáng kể)
- Khoảng tin cậy: [0,5%, 1,5%] (tin cậy 95% rằng chênh lệch thực sự về tỷ lệ chuyển đổi nằm trong khoảng 0,5% đến 1,5%)
- Điểm z: 2,01 (gợi ý một sự khác biệt có ý nghĩa thống kê)
- Công suất quan sát: 0,78 (78% khả năng phát hiện sự khác biệt thực)
Thử nghiệm A/B là công cụ mạnh mẽ để tối ưu hóa trải nghiệm số, và hiểu rõ các chỉ số cùng thuật ngữ chính của nó là điều then chốt để diễn giải chính xác. Switas biết cách thực hiện hiệu quả các thử nghiệm A/B, giúp doanh nghiệp đưa ra quyết định dựa trên dữ liệu để nâng cao hiệu suất, đồng thời cung cấp những thông tin đáng tin cậy và có thể hành động để thúc đẩy tăng trưởng và thành công.




