Статистическа значимост

Статистическата значимост е стандартът, използван за определяне дали разликата, наблюдавана между две групи в експеримент, е достатъчно голяма, че е малко вероятно да е била получена единствено от случаен фактор. В контекста на оптимизация на конверсиите, тя отговаря на конкретен въпрос: ако контролната група и вариантът са наистина идентични по отношение на ефекта си върху поведението на посетителите, колко често експеримент с такъв размер би довел до разлика, поне толкова голяма, колкото измерената? Когато тази вероятност падне под предварително договорен праг, най-често 5%, резултатът се описва като статистически значим при 95-процентово ниво на доверие.

Концепцията е важна, защото данните за конверсиите по своята същност са шумни. Две идентични версии на една и съща страница, показани на две произволно разделени половини от един и същ трафик, почти никога няма да доведат до абсолютно еднакъв процент на конверсия. Дневните колебания, миксът от източници на трафик, разликите в устройствата и простата случайност създават очевидни пропуски, които не означават нищо. Без праг на значимост, екипите в крайна сметка внедряват промени въз основа на шум, а общият ефект от програмата за тестване става нулев или отрицателен, докато всички участници вярват, че тя работи.

Значимостта се определя преди началото на теста, а не се открива след него. Стандартната практика е да се фиксира нивото на значимост, желаната статистическа мощност и минималният размер на ефекта, който си струва да се открие, след което да се изчисли необходимият размер на извадката и тестът да се проведе с този размер на извадката. Многократната проверка на резултатите и спирането им в момента, в който се премине праг, значително увеличава процента на фалшиво положителни резултати, защото всяко допълнително търсене е още една възможност случайни вариации да преминат границата. Тестовите платформи, които отчитат актуална цифра на значимост, правят тази грешка лесна за допускане, поради което дисциплинираните програми третират предварително регистрираното правило за спиране като задължително.

Упорито погрешно схващане е, че значим резултат доказва, че даден вариант е по-добър, а незначителен резултат доказва, че двете версии са еквивалентни. Нито едно от двете не е вярно. Значимостта описва съвместимостта на данните с хипотезата за липса на разлика; тя не казва нищо за размера или бизнес значимостта на даден ефект. Тест с много голям трафик може да открие статистически значимо подобрение от част от процентен пункт, което не си струва инженерните разходи за доставка. Обратно, незначителен резултат при тест с ниска мощност просто означава, че експериментът не е имал достатъчно чувствителност, за да открие ефект, който е възможно да съществува. Отчитането на доверителния интервал заедно с присъдата дава много по-полезна картина от двоичен етикет.

В консултантската работа значението се крие в срещата на аналитичната прецизност с търговската преценка. CRO услуга Ангажираността трябва да балансира статистическия идеал с реалността, че повечето сайтове нямат неограничен трафик и че бизнесът не може да чака три месеца за сигурност по всяка идея. Практическото решение е да се запазят строги прагове за високорискови, трудно обратими промени, като например ценообразуване, процес на плащане или навигационна архитектура, и да се приемат по-бързи, по-малко достоверни решения за нискорискови промени в текста и оформлението, където цената на грешката е малка и обратима. Това калибриране е стратегическо решение, а не статистическо, и обикновено се задава по време на етапа на планиране на оптимизация на скоростта на реализация програма, заедно с дефинирането на първични и предпазни показатели.

Полезна дисциплина за всеки екип, който е нов в тази област, е да проведе A/A тест, преди да се довери на заключенията на платформата. Разделянето на трафика между две идентични версии по своята същност не би трябвало да доведе до реална разлика, а наблюдението на това, което инструментът отчита в продължение на две или три седмици, е поучително. Екипите рутинно установяват, че тяхната платформа обявява значителен победител между две идентични страници в даден момент по време на изпълнението, което е точно това, което предсказва многократната проверка на нулев резултат, и виждането, че това се случва със собствения им трафик, е по-убедително от всяко обяснение на основната статистика. Упражнението също така разкрива проблеми с инструментариума, включително неравномерно разпределение на трафика, проследяване, което се задейства различно в различните варианти, и трафик на ботове, който не се филтрира последователно, всичко това в противен случай би повредило всеки следващ експеримент, като същевременно би останало невидимо.

Екипите, които узреят в тази област, спират да питат дали даден резултат е значим и започват да питат какво решение подкрепят доказателствата. Те документират размерите и интервалите на ефектите, проследяват колко често значими победи в миналото са се оказвали валидни при повторно измерване и третират всеки експеримент като един вход към натрупващ се набор от знания за своите клиенти, а не като присъда, произнесена веднъж и никога не преразглеждана.