Bayesiaanse A/B-testen zijn een benadering voor experimentanalyse die de waarschijnlijkheid rapporteert dat de ene variant beter is dan de andere, gegeven de waargenomen gegevens en eventuele voorafgaande informatie. Dit staat in contrast met de frequentistische benadering, die rapporteert hoe verrassend de gegevens zouden zijn als de variant geen effect zou hebben. Het praktische verschil zit in de output: Bayesiaanse methoden produceren uitspraken zoals "er is een waarschijnlijkheid van 93 procent dat variant B beter presteert dan de controlevariant, met een verwacht verlies van 0.2 procent als we de verkeerde keuze maken", die direct toepasbaar zijn op zakelijke beslissingen.
De methode werkt door een a priori-verdeling, die de verwachtingen over het waarschijnlijke effect vóór de test weergeeft, te combineren met de waargenomen gegevens om een a posteriori-verdeling van plausibele effecten te produceren. Deze a posteriori-verdeling kan vervolgens op elke gewenste manier worden geraadpleegd: de waarschijnlijkheid van enige verbetering, de waarschijnlijkheid van een verbetering boven een commercieel relevante drempel, of de verwachte kosten van een verkeerde inschatting. Verschillende veelgebruikte testplatforms hebben Bayesiaanse rapportage om precies deze reden als standaardmethode ingevoerd, omdat de resultaten minder interpretatie behoeven voordat een belanghebbende ernaar kan handelen.
Het meest aangehaalde voordeel is dat Bayesiaanse resultaten robuuster zijn bij continue monitoring. Omdat de posterior wordt bijgewerkt naarmate er data binnenkomen en niet gebaseerd is op een aanname van een vaste steekproefomvang, leidt herhaaldelijk bekijken van de resultaten niet tot een opgeblazen foutmarge zoals bij naïeve frequentistische p-waarden. Dit is met name nuttig in commerciële omgevingen waar stakeholders dashboards raadplegen, ongeacht wat het analyseprotocol voorschrijft. Het is echter geen vrijbrief om een test te stoppen zodra een getal er goed uitziet: stoppen op basis van de metriek die je observeert, vertekent de geschatte effectgrootte nog steeds naar boven, en korte tests missen nog steeds wekelijkse cycli en nieuwigheidseffecten, ongeacht het statistische kader.
De prior is zowel de kracht van de methode als de meest voorkomende bron van discussie. Een zwak informatieve prior, die de meeste platforms standaard gebruiken, heeft weinig invloed op het resultaat zodra er voldoende data is verzameld. Een sterke prior, afgeleid van de eigen experimenten van een organisatie, kan de schattingen aanzienlijk verbeteren, met name bij tests met weinig verkeer, door onwaarschijnlijk grote waargenomen effecten terug te brengen naar een realistischer bereik. Maar een prior die gekozen is om een gewenste conclusie te ondersteunen, is onverdedigbaar. Daarom moeten priors worden vastgelegd en overeengekomen vóór de start van een test, in plaats van tijdens de analyse te worden gekozen.
Geen van beide frameworks kan een slecht ontworpen experiment redden. Bayesiaanse analyse van een test met een gebrekkige randomisatie, een tracking error, een mismatch in de steekproefverhouding of een meetwaarde die geen zakelijke waarde weerspiegelt, levert een zelfverzekerd en nauwkeurig antwoord op de verkeerde vraag. De keuze tussen frameworks is een kwestie van rapportage en besluitvormingstheorie; de kwaliteit van het onderliggende experimentontwerp bepaalt of het antwoord waardevol is.
De output die het raamwerk echt bruikbaar maakt in commerciële contexten, is het verwachte verlies, ook wel risico genoemd. In plaats van te vragen of een variant beter is, wordt er gevraagd hoeveel er gemiddeld verloren gaat door voor de variant te kiezen als deze slechter blijkt te zijn. Een beslissingsregel die luidt: verzend wanneer het verwachte verlies onder een drempelwaarde komt die het bedrijf als verwaarloosbaar beschouwt, sluit direct aan op hoe commerciële beslissingen in de praktijk worden genomen, aangezien niemand zekerheid nodig heeft over een verandering waarvan de nadelen triviaal zijn. Het raamwerk behandelt ook de veelvoorkomende situatie waarin twee varianten vrijwel identiek presteren: de kans dat de ene beter is, kan oneindig rond de vijftig procent blijven schommelen, terwijl het verwachte verlies in beide richtingen minimaal is. Dit geeft terecht aan dat de keuze er niet toe doet en dat het team er geen verkeer meer aan moet besteden.
Binnen een project wordt de keuze voor een raamwerk doorgaans vroegtijdig vastgelegd en vervolgens ongewijzigd gelaten, omdat een overstap halverwege het project de vergelijking van historische resultaten onmogelijk maakt. CRO-service Het team zal doorgaans standaardiseren op de aanpak die het bestaande platform en de analysecultuur van de klant ondersteunen, de beslissingsdrempels vooraf definiëren en zich richten op het ontwerpen en prioriteren van experimenten in plaats van op statistische principes. Wanneer een organisatie haar eigen meetinfrastructuur bouwt, wordt de keuze meestal gemaakt in samenhang met de bredere rapportagearchitectuur die door de klant wordt beheerd. Data analytics zodat de resultaten van experimenten en de bedrijfsintelligentie een consistente taal delen voor onzekerheid.