SwitasHubungi Kami

Memahami Metrik dan Terminologi Pengujian A/B

Çağdaş Polat · · 4 menit baca

Pengujian A/B adalah metode penting dalam mengoptimalkan situs web dan aplikasi, yang memungkinkan bisnis membandingkan dua versi halaman web atau aplikasi untuk menentukan mana yang berkinerja lebih baik. Memahami metrik dan terminologi utama dalam pengujian A/B sangat penting untuk menafsirkan hasil secara akurat. Dalam artikel ini, kita akan membahas metrik dan terminologi penting pengujian A/B, termasuk p-value, confidence interval, uji satu sisi dan dua sisi, z-score, observed power, variant, control group, incremental revenue, conversion rate, dan perhitungan Bayesian.

Metrik dan Terminologi Utama Pengujian A/B

1. Variant

Variant mengacu pada salah satu versi yang diuji dalam pengujian A/B. Biasanya, versi yang sudah ada disebut control, dan versi baru disebut variant.

Contoh: Dalam pengujian A/B pada sebuah landing page, Versi A (halaman saat ini) adalah control, dan Versi B (desain baru) adalah variant.

2. Control Group

Control group adalah kelompok pengguna yang melihat versi asli (control) dalam pengujian A/B. Kelompok ini berfungsi sebagai acuan dasar untuk membandingkan performa variant.

Contoh: Jika 10.000 pengguna mengunjungi sebuah situs web, 5.000 di antaranya mungkin melihat halaman control (control group), dan 5.000 lainnya melihat halaman variant.

 

Incremental-revenue.png
Sumber: https://getrecast.com/incrementality/

 

3. Incremental Revenue

Incremental revenue mengacu pada pendapatan tambahan yang dihasilkan dari perubahan yang dilakukan selama pengujian A/B. Metrik ini membantu menilai dampak finansial dari pengujian.

Contoh: Jika halaman variant meningkatkan nilai pesanan rata-rata sebesar $5 dan terjadi 1.000 pembelian tambahan, incremental revenue-nya adalah $5.000.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Conversion Rate

Conversion rate adalah persentase pengguna yang menyelesaikan tindakan yang diinginkan, seperti melakukan pembelian atau mendaftar newsletter, dari total jumlah pengunjung.

Contoh: Jika 100 dari 1.000 pengunjung melakukan pembelian, conversion rate-nya adalah 10%.

5. P-Value

P-value mengukur probabilitas bahwa perbedaan yang teramati antara dua variasi terjadi secara kebetulan. P-value yang lebih rendah (biasanya kurang dari 0,05) menunjukkan bahwa perbedaan yang teramati signifikan secara statistik.

Contoh: Misalkan sebuah pengujian A/B membandingkan dua versi landing page. Versi A memiliki conversion rate 5%, dan Versi B memiliki conversion rate 7%. Jika p-value-nya 0,03, ada peluang 3% bahwa perbedaan yang teramati terjadi secara kebetulan, yang menunjukkan adanya perbedaan signifikan antara kedua versi.

 

confidence-interval-formula.jpg

 

6. Confidence Interval

Confidence interval memberikan rentang tempat ukuran efek sebenarnya diperkirakan berada, dengan tingkat kepercayaan tertentu (biasanya 95%). Metrik ini membantu menilai keandalan hasil pengujian.

Contoh: Pada pengujian A/B yang sama, confidence interval 95% untuk selisih conversion rate mungkin [1%, 3%]. Artinya kita 95% yakin bahwa selisih conversion rate yang sebenarnya berada di antara 1% dan 3%.

7. Uji Satu Sisi dan Dua Sisi

Uji satu sisi menilai arah efek (misalnya apakah Versi B lebih baik daripada Versi A), sedangkan uji dua sisi menilai apakah ada perbedaan ke arah mana pun.

Contoh Uji Satu Sisi: Menguji apakah conversion rate Versi B lebih tinggi daripada Versi A.
Contoh Uji Dua Sisi: Menguji apakah ada perbedaan antara conversion rate Versi A dan Versi B, terlepas dari arahnya.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-Score

Z-score mengukur berapa standar deviasi suatu elemen dari nilai rata-rata. Dalam pengujian A/B, z-score digunakan untuk menentukan signifikansi perbedaan yang teramati antara dua variasi. Tingkat kepercayaan yang umum beserta padanan z-score-nya:

  • Confidence interval 95%
    • Z-Score Dua Sisi: 1,96
    • Z-Score Satu Sisi: 1,65
  • Confidence interval 99%
    • Z-Score Dua Sisi: 2,58
    • Z-Score Satu Sisi: 2,33
  • Confidence interval 90%
    • Z-Score Dua Sisi: 1,64
    • Z-Score Satu Sisi: 1,28

Contoh: Jika z-score untuk selisih conversion rate antara Versi A dan Versi B adalah 2,5, berarti selisih tersebut berjarak 2,5 standar deviasi dari rata-rata, yang menunjukkan perbedaan signifikan secara statistik.

9. Observed Power

Observed power mengacu pada probabilitas bahwa pengujian menolak hipotesis nol dengan benar ketika terdapat efek yang sebenarnya. Observed power yang lebih tinggi menunjukkan kemungkinan lebih besar untuk mendeteksi perbedaan yang sebenarnya.

Contoh: Dalam pengujian A/B dengan observed power 0,8 (80%), terdapat peluang 80% untuk mendeteksi perbedaan sebenarnya antara variasi jika perbedaan tersebut memang ada.

 

bayesian-formula.png
Sumber: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Perhitungan Bayesian

Perhitungan Bayesian menggunakan teorema Bayes untuk memperbarui estimasi probabilitas suatu hipotesis seiring diperolehnya bukti tambahan. Dalam pengujian A/B, pendekatan ini menyediakan kerangka probabilistik untuk mengambil keputusan berdasarkan data.

Contoh: Dengan metode Bayesian, Anda dapat menentukan probabilitas bahwa suatu variant lebih baik daripada control berdasarkan data yang teramati, tanpa hanya bergantung pada p-value tradisional.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Sumber: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Statistik Frequentist

Statistik frequentist adalah pendekatan tradisional dalam pengujian hipotesis yang berfokus pada frekuensi atau proporsi data. Pendekatan ini bertumpu pada kumpulan data yang tetap dan tidak memasukkan pengetahuan sebelumnya atau distribusi probabilitas.

Contoh: Dalam pendekatan Frequentist pada pengujian A/B, Anda akan menggunakan p-value dan confidence interval untuk menentukan signifikansi hasil pengujian, tanpa memasukkan probabilitas awal (prior).

Contoh Praktis

Contoh 1: Pengujian A/B Kampanye Email

Sebuah perusahaan ingin menguji dua baris subjek email untuk melihat mana yang menghasilkan open rate lebih tinggi.

  • Baris Subjek A: open rate 25%
  • Baris Subjek B: open rate 28%
  • P-Value: 0,02 (menunjukkan perbedaan signifikan)
  • Confidence Interval: [2%, 5%] (kepercayaan 95% bahwa selisih open rate yang sebenarnya berada di antara 2% dan 5%)
  • Z-Score: 2,33 (menunjukkan perbedaan signifikan secara statistik)
  • Observed Power: 0,85 (peluang 85% untuk mendeteksi perbedaan sebenarnya)
Contoh 2: Pengujian A/B Landing Page Situs Web

Sebuah situs e-commerce menguji dua desain landing page untuk menentukan mana yang menghasilkan lebih banyak pembelian.

  • Desain A: conversion rate 4%
  • Desain B: conversion rate 5%
  • P-Value: 0,045 (menunjukkan perbedaan signifikan)
  • Confidence Interval: [0,5%, 1,5%] (kepercayaan 95% bahwa selisih conversion rate yang sebenarnya berada di antara 0,5% dan 1,5%)
  • Z-Score: 2,01 (menunjukkan perbedaan signifikan secara statistik)
  • Observed Power: 0,78 (peluang 78% untuk mendeteksi perbedaan sebenarnya)

Pengujian A/B adalah alat yang ampuh untuk mengoptimalkan pengalaman digital, dan memahami metrik serta terminologi utamanya sangat penting untuk interpretasi yang akurat. Switas tahu cara melakukan pengujian A/B yang efektif, sehingga bisnis dapat mengambil keputusan berbasis data untuk meningkatkan kinerja mereka, serta menghadirkan wawasan andal dan dapat ditindaklanjuti yang mendorong pertumbuhan dan kesuksesan.

Artikel terkait

Semua artikel →

Mari bangun produk berikutnya.

Hubungi Kami