Kvantitatiivinen tutkimus

Kvantitatiivinen tutkimus on käyttäjien käyttäytymistä koskevan numeerisen tiedon keräämistä ja tilastollista analyysia, jota käytetään mittaamaan mallien laajuutta, esiintymistiheyttä ja merkitystä suuressa käyttäjäjoukossa yksittäisten motivaatioiden selittämisen sijaan. Käyttökokemuksen ja konversio-optimoinnin yhteydessä yleisiä kvantitatiivisia menetelmiä ovat verkkoanalytiikkaraportointi, suppiloanalyysi, A/B- ja monimuuttujatestaus, klikkaus- ja vieritysseuranta useiden istuntojen ajalta sekä strukturoidut kyselyt suljettujen kysymysten avulla, jotka tuottavat tilastolliseen vertailuun soveltuvaa dataa, kuten Net Promoter Score- tai System Usability Scale -arvioinnit. Kvantitatiivisen tutkimuksen määrittelevä ominaisuus on, että sen johtopäätökset ilmaistaan ​​mitattavissa olevilla termeillä, kuten konversioaste, tilastollinen luottamustaso tai vaikutuksen koko, joita voidaan vertailla objektiivisesti eri ajanjaksojen tai varianttien välillä.

Tämä kurinalaisuus on keskeinen konversioprosentin optimoinnissa, koska se tarjoaa tarvittavat todisteet sen validoimiseksi, parantaako ehdotettu muutos todella tuloksia sen sijaan, että se vain tuntuisi parannukselta sitä tekevälle tiimille. Ilman kvantitatiivista validointia suunnittelu- ja markkinointipäätökset perustuvat mielipiteisiin, sisäiseen politiikkaan tai subjektiivisiin mieltymyksiin, joiden tutkimukset osoittavat johdonmukaisesti korreloivan heikosti todellisen käyttäjäkäyttäytymisen kanssa. A/B-testaus, yleisin kvantitatiivinen menetelmä CRO:ssa, vaatii ennalta lasketun otoskoon ja tilastollisen luottamustason, tyypillisesti 95 prosenttia, saavuttamisen ennen kuin tulosta pidetään luotettavana, ja testejä suoritetaan yleensä vähintään yhdestä kahteen kokonaista liiketoimintasykliä, usein kahdesta neljään viikkoa, jotta voidaan ottaa huomioon viikonpäivä- ja palkkapäiviin liittyvä käyttäytymisen vaihtelu, joka muuten vääristäisi lyhytaikaisia ​​tuloksia.

Kontrolloitujen kokeiden lisäksi kvantitatiiviseen tutkimukseen kuuluu myös olemassa olevien käyttäytymistietojen havainnointianalyysi, kuten konversioasteen segmentointi liikenteen lähteen, laitetyypin tai maantieteellisen sijainnin mukaan sen tunnistamiseksi, missä suorituskyky vaihtelee merkittävästi, ja kohorttianalyysi, jossa seurataan tietyn käyttäjäryhmän, kuten kaikkien tiettynä kuukautena rekisteröityneiden, käyttäytymistä seuraavien viikkojen tai kuukausien aikana. Tätä käytetään yleisesti asiakaspysyvyyden ja elinkaaren arvon trendien mittaamiseen. Luotettavan kvantitatiivisen tutkimuksen keskeisiä tilastollisia käsitteitä ovat otoskoon laskenta, joka määrittää, kuinka monta havaintoa tarvitaan merkityksellisen vaikutuksen havaitsemiseksi tietyllä luottamustasolla, ja useiden vertailujen ongelman välttäminen, jossa useiden mittareiden samanaikainen testaaminen lisää todennäköisyyttä löytää virheellisesti merkitsevä tulos puhtaasti sattumalta.

Yleinen väärinkäsitys on, että kvantitatiivinen data on luonnostaan ​​objektiivista eikä siksi vaadi huolellista tulkintaa. Todellisuudessa kvantitatiiviset tulokset voivat olla harhaanjohtavia, jos taustalla oleva tiedonkeruu on virheellinen, esimerkiksi bottiliikenteen kasvattaessa kävijämääriä, seurantakoodin käynnistymisen väärin tietyillä laitteilla tai testin saastuttaman samanaikaisesti käynnissä olevan, toisiinsa liittymättömän markkinointikampanjan vuoksi. Toinen yleinen sudenkuoppa, jota tässä yhteydessä joskus kutsutaan peruskorkovirheeksi, on keskittyminen suhteellisiin prosentuaalisiin muutoksiin ottamatta huomioon konversioiden absoluuttista määrää, koska raportoitu 50 prosentin nousu vain kourallisen kokonaiskonversioiden perusteella on tilastollisesti paljon luotettavampi kuin 10 prosentin nousu, joka mitataan tuhansien konversioiden perusteella.

CRO- ja kasvukonsultoinnissa kvantitatiivinen tutkimus tarjoaa sekä diagnostisen lähtökohdan, joka tunnistaa suppilon suurimmat ja tilastollisesti luotettavimmat mahdollisuudet, että viimeisen validointikerroksen, joka vahvistaa, tuottaako kvalitatiivisen tutkimuksen avulla luotu hypoteesi todella mitattavissa olevan liiketoimintatuloksen, kun se on toteutettu. Kypsät konsultointikäytännöt ylläpitävät tyypillisesti testausnopeus- ja voittoprosenttimittaria kaikissa asiakkaalle suoritetuissa kokeiluissa ja käyttävät jatkuvasti historiallisia kvantitatiivisia tuloksia tarkentaakseen jatkuvasti, minkä tyyppisiä hypoteeseja kannattaa priorisoida tulevissa optimointikierroksissa.

Konkreettisena esimerkkinä oletetaan, että kassasivun konversioprosentti on tällä hetkellä 3.2 prosenttia ja tiimi haluaa selvittää, parantaako uudelleensuunniteltu lomake tätä prosenttilukua suhteellisesti 15 prosenttia, noin 3.7 prosenttiin. Normaali otoskoon laskenta 95 prosentin luotettavuudella ja 80 prosentin tilastollisella teholla saattaa viitata siihen, että jokainen variantti tarvitsee kymmeniä tuhansia kävijöitä, ennen kuin testi voidaan suorittaa luotettavasti. Jos sivulla on vain muutama tuhat kävijää viikossa, määrällinen tarkkuus edellyttää, että tiimi joko hyväksyy usean viikon testin keston, tavoittelee suurempaa odotettua vaikutuskokoa tai ohjaa testaustyön suppilon suuremman liikenteen sivulle, jolla voidaan saavuttaa merkityksellisiä tuloksia nopeammin, sen sijaan, että käynnistetään heikkotehoinen testi aikaisin ja otetaan riski väärästä johtopäätöksestä.