Pienin havaittava vaikutus (MDE)

Pienin havaittava vaikutus, yleensä lyhennettynä MDE, on pienin muutos mittarissa, jonka koe on suunniteltu havaitsemaan luotettavasti. Se asetetaan ennen testin alkua ja sitä käytetään suoraan otoskoon laskennassa. Koe, jonka MDE on 10 prosenttia, on rakennettu havaitsemaan 10 prosentin tai sitä suurempia parannuksia määritellyllä luottamustasolla ja teholla; pienemmät aidot parannukset jäävät usein havaitsematta kyseisessä testissä, ja ne näkyvät epäselvinä tuloksina voittojen sijaan.

MDE tulkitaan usein väärin ennustukseksi siitä, kuinka paljon variantti parantaa konversiota. Se ei ole ennuste. Se on herkkyysasetus samassa mielessä kuin asteikolla on pienin mitattavissa oleva lisäys. Sen asettaminen ei tee vaikutuksesta todennäköisempää tai epätodennäköisempää; se määrittää, onko kokeella riittävän resoluutiota vaikutuksen havaitsemiseksi, jos se on olemassa. Näiden kahden sekoittaminen johtaa tuttuun huonoon keskusteluun testin päätyttyä, jossa tiimi väittää, että variantin "olisi pitänyt voittaa", koska MDE asetettiin 15 prosenttiin, vaikka todellisuudessa MDE kuvasi vain sitä, mitä testi pystyi näkemään.

Oikea tapa asettaa MDE on kaupallisesti, ei tilastollisesti. Kysymys kuuluu, minkä suuruinen parannus oikeuttaisi muutoksen rakentamisen, toimittamisen ja ylläpidon kustannukset sekä sen mittaamiseen käytetyn liikenteen vaihtoehtoiskustannukset. Suuren volyymin kassalla 2 prosentin suhteellinen parannus voi olla huomattavan vuosittaisen luvun arvoinen ja siksi pitkän testauksen arvoinen. Vähän liikennöidyllä yhteydenottolomakkeella alle 20 prosentin parannusta ei välttämättä kannata havaita ollenkaan, koska lisäliidien absoluuttinen määrä on merkityksetön. Liiketoiminta-arvosta taaksepäin työskentely pitää testaussuunnitelman ankkuroituna tuloksiin eikä tilastolliseen kätevyyteen.

Kunnianhimoisen MDE:n ja sivuston todellisen liikenteen välillä on väistämätön jännite. Tulosten näyttämiseen paineen alla olevat tiimit ratkaisevat ongelman usein väärään suuntaan nostamalla MDE:tä hiljaa, kunnes otoskoon laskenta palauttaa mukavan määrän päiviä. Tämä tuottaa kokeita, jotka ovat teknisesti päteviä, mutta käytännössä hyödyttömiä: ne pystyvät havaitsemaan vain niin suuria vaikutuksia, että ne olisivat olleet ilmeisiä ilman testausta. Rehellinen vaihtoehto on hyväksyä, että joihinkin kysymyksiin ei voida vastata kokeilemalla nykyisellä liikennetasolla, ja ohjata ne muihin menetelmiin, kuten käytettävyystestaukseen, analytiikkatutkimukseen tai asiantuntija-arviointiin.

MDE muokkaa myös itse variantin suunnittelua. Jos testin on havaittava 15 prosentin parannus, jotta se olisi suorittamisen arvoinen, hienovarainen muutos painikkeen tekstissä ei todennäköisesti ylitä tätä rimaa, ja tiimille on parempi testata huomattavasti erilaista lähestymistapaa sivuun: uudelleenjärjesteltyä arvolupausta, erilaista lomakkeen pituutta tai muutettua hinnoitteluesitystä. Tästä syystä rajoitetun liikenteen ohjelmat tuottavat yleensä mielenkiintoisempaa työtä kuin rajoittamattoman liikenteen ohjelmat, joilla on varaa testata triviaa.

Toistuva hämmennyksen aihe on se, ilmaistaanko vaikutus suhteellisesti vai absoluuttisesti, eikä ero ole triviaali. Kahden prosentin lähtötason konversioasteella kymmenen prosentin suhteellinen parannus tarkoittaa siirtymistä 2.2 prosenttiin, mikä on 0.2 prosenttiyksikön absoluuttinen muutos. Kymmenen prosentin absoluuttinen parannus tarkoittaisi siirtymistä kahteentoista prosenttiin, mitä mikään realistinen muutos ei tuota. Otoskoon laskimet, testausalustat ja sidosryhmät vaihtavat usein näiden kahden käytännön välillä sanomatta sitä, ja väärään tulkintaan perustuva suunnitelma joko määrittelee kokeen, jota ei voida päättää, tai sellaisen, joka on täysin ylimitoitettu. Käytännön mainitseminen nimenomaisesti jokaisessa testaussuunnitelmassa, yhdessä lähtötason ja siitä johtuvan absoluuttisen luvun kanssa, poistaa epäselvyyden, joka muuten nousi esiin aina, kun tuloksista keskustellaan analytiikkatoiminnon ulkopuolisten ihmisten kanssa.

Käytännössä MDE-päätökset tehdään kollektiivisesti tiekartan suunnittelun aikana sen sijaan, että analyytikko työskentelisi yksin. CRO-palvelu tyypillisesti kunkin suunnitellun kokeen osalta dokumentoidaan lähtötaso, MDE, tuloksena oleva otoskoko ja arvioitu suoritusaika, jotta sidosryhmät voivat nähdä kunkin kysymyksen kustannukset ennen siihen sitoutumista. Organisaatioille, jotka suorittavat kokeita useilla kiinteistöillä tai markkinoilla, tämä dokumentaatio estää myös yleisen virheen, jossa yhtä MDE-käytäntöä sovelletaan sivustoihin, joilla on täysin erilaiset liikenneprofiilit. Tämä kaava näkyy usein yritys ohjelmat, joissa keskitetty standardi siirretään tiimeille, joiden liikenne ei pysty sitä tukemaan.