A/B-testning är en kontrollerad experimentmetod som används för att jämföra två eller flera versioner av en webbsida, appskärm, e-postkampanj eller annan digital tillgång för att avgöra vilken som presterar bäst mot ett definierat mål, till exempel klickfrekvens, registreringsgrad eller intäkt per besökare. I sin enklaste form delas trafiken slumpmässigt mellan en kontrollversion (A) och en variant (B), och statistisk analys används på den resulterande datan för att avgöra om den observerade skillnaden i prestanda är en verklig effekt eller bara ett resultat av slumpmässig variation. Tekniken hämtar sin grund direkt från den randomiserade kontrollerade studie som används inom klinisk forskning och jordbruksvetenskap, vilket är anledningen till att yrkesverksamma ofta talar om statistisk signifikans, konfidensintervall och urvalsstorleksberäkningar när de diskuterar testdesign.
A/B-testning är viktigt eftersom den ersätter subjektiva åsikter och interna debatter med empiriska belägg för hur verkliga besökare faktiskt beter sig. Design- och marknadsteam är ofta oense om vilken rubrik, knappfärg, layout eller prisstruktur som konverterar bäst, och intuition är en notoriskt opålitlig vägvisare: studier av e-handels- och SaaS-sajter har upprepade gånger visat att förändringar som förväntas förbättra konverteringen inte gör det, eller till och med försämrar den, i ungefär 80 till 90 procent av de genomförda testerna. Genom att utsätta en hypotes för en verklig publik och mäta utfallet direkt gör A/B-testning det möjligt för organisationer att validera eller förkasta idéer innan de binder ingenjörstid, marknadsföringsbudget eller varumärkesrisk i en fullständig utrullning.
Att genomföra ett giltigt A/B-test kräver mer än att bara dela trafiken och jämföra antalet konverteringar. Analytiker beräknar en minsta urvalsstorlek i förväg, baserat på den grundläggande konverteringsgraden, den minsta detekterbara effekt som verksamheten bryr sig om samt den önskade statistiska styrkan (vanligen 80 procent) och signifikansnivån (vanligen 95 procent, eller ett p-värde under 0,05). Tester pågår vanligtvis i minst en till två fullständiga affärscykler, ofta 14 till 30 dagar, för att ta hänsyn till veckodagseffekter och undvika att avbryta för tidigt på grund av en slumpmässig fluktuation, ett misstag som kallas peeking. Verktyg som VWO, Optimizely och AB Tasty sköter randomisering, spårning och statistiska beräkningar, men att tolka resultatet kräver fortfarande förståelse för begrepp som sample ratio mismatch och nyhetseffekter.
En vanlig missuppfattning är att ett statistiskt signifikant resultat från ett enskilt test är en permanent, universell sanning. I verkligheten är resultaten specifika för det trafiksegment, den tidsperiod och det sammanhang där testet kördes, och de kan avta eller vändas när målgrupper, säsonger eller konkurrensförhållanden förändras. En annan vanlig fallgrop är att testa för många variabler samtidigt utan tillräcklig trafik, vilket ger underdimensionerade tester som rapporterar falska positiva resultat eller aldrig når signifikans. Multivariata tester, som undersöker kombinationer av flera element samtidigt, kräver betydligt mer trafik än ett enkelt A/B-test med två varianter och är ingen genväg kring kraven på urvalsstorlek.
Inom ett uppdrag med en CRO- eller UX-konsultbyrå är A/B-testning mekanismen som omvandlar kvalitativ research, till exempel användarintervjuer, heatmaps och sessionsinspelningar, till validerade beslut som påverkar intäkterna. Ett välskött testprogram följer vanligtvis en strukturerad process: identifiera en friktionspunkt genom data och research, formulera en specifik hypotes om varför den finns och hur den kan åtgärdas, prioritera den mot andra idéer med hjälp av ett poängramverk, kör experimentet till statistisk giltighet och dokumentera lärdomen oavsett om varianten vann eller förlorade. Med tiden skapar detta en evidensbaserad färdplan som minskar risken för kostsamma redesigns och bygger upp organisatorisk kunskap om vad som faktiskt driver kundbeteendet på en specifik sajt.
Fler termer som börjar på A
AARRR (piratmått)Above the fold (synligt utan scrollning)Acceptanskriterier (Acceptance Criteria)Tillgänglighet (WCAG-efterlevnad)Tillgänglighetsgranskning (Accessibility Audit)Affiliatemarknadsföring (Affiliate Marketing)Affordans (Affordance)Agil utveckling (Agile Development)Atomic designAttributionsmodelleringAttribueringsfönster (Attribution Window)Genomsnittligt ordervärde (AOV)
