Размер на извадката

Размерът на извадката е броят на посетителите, сесиите или потребителите, включени във всяка група от експеримента, и е най-важният определящ фактор за това дали даден тест може да даде надежден отговор. Той се изчислява преди стартирането му, въз основа на четири входни данни: базовия процент на конверсия на контролната група, минималния размер на ефекта, който бизнесът би сметнал за значим, желаната статистическа мощност и нивото на значимост. Промяната на който и да е от тези входни данни ще доведе до промени в необходимия размер на извадката, често драстично.

Връзката между тези входни данни не е интуитивна и точно тук повечето програми за тестване се объркват. Откриването на малък ефект изисква много повече трафик, отколкото откриването на голям, а изискването нараства приблизително с обратния квадрат на размера на ефекта. Намаляването наполовина на ефекта, който искате да откриете, увеличава четири пъти необходимия трафик. Сайт с конверсия от 2%, който иска надеждно да открие относително подобрение от 5%, се нуждае от десетки хиляди посетители на вариант; същият сайт, който се опитва да открие подобрение от 20%, се нуждае от малка част от това. По подобен начин ниските базови проценти на конверсия изискват повече трафик от високите, поради което сайтовете за генериране на лийдове и категориите електронна търговия с високо ниво на обмисляне изпълняват по-бавни програми за тестване от високочестотната търговия на дребно.

Изпълнението на тест без изчисление на размера на извадката води до един от двата режима на неуспех. Тестът с ниска мощност никога не достига до заключение, изразходва седмици трафик и се изоставя като неубедителен или, още по-лошо, се тълкува като доказателство, че промяната не е довела до нищо. Тестът, спрян преждевременно, когато щастлива серия от реализации премине праг на значимост, отчита голям ефект, който до голяма степен изчезва, когато промяната се разпространи сред всички. И двата неуспеха струват едно и също нещо: доверието в програмата за тестване в организацията.

Изискванията за размер на извадката също ограничават това, което един сайт може реалистично да тества. Сайт с ограничен трафик не може да изпълнява портфолио от малки подобрения, защото всяко едно би отнело месеци за разрешаване. Подходящата стратегия при това ниво на трафик е да се тестват по-малко, по-смели промени с големи очаквани ефекти, да се тества по-нагоре във фунията, където обемите са по-големи, и да се разчита повече на качествени изследвания и евристичен анализ, за ​​да се реши какво да се пусне без експеримент. Честното осъзнаване на това ограничение е много по-продуктивно от изпълнението на програма от тестове, която математически не може да успее.

Практическото изчисление също трябва да отчита разликата между статистическата единица и бизнес единицата. Ако единицата за рандомизация е посетителят, но метриката се измерва на сесия, аритметиката се обърква и отчетената увереност е завишена. Тестовете, измерващи приходите на посетител, а не бинарно преобразуване, се нуждаят от още по-големи извадки, тъй като приходите са метрика с висока дисперсия и дълга опашка от големи поръчки. Анализът на ниво сегмент усложнява проблема: тест, работещ за цялата аудитория, не е работещ за мобилното подмножество, а четенето на резултатите от сегменти от експеримент, оразмерен за общия брой, е един от най-често срещаните източници на неверни заключения в областта.

От изчислението произтичат два практически въпроса, на които често се дава погрешен отговор. Първият е дали трафикът трябва да се раздели равномерно. Понякога се предлага неравномерно разпределение, като например деветдесет процента контрола и десет процента вариант, за да се ограничи излагането на рискована промяна, но то значително удължава необходимото време за изпълнение, тъй като по-малката група определя прецизността на сравнението. Ограничаването на риска се постига по-добре чрез кратка начална рампа с наблюдение на предпазни парапети, последвано от равномерно разделяне. Вторият е какво да се направи с едновременното провеждане на няколко теста. Едновременните експерименти върху несвързани части на даден сайт обикновено са приемливи и са начинът, по който повечето програми постигат разумна скорост, но тестовете, които взаимодействат, като например две промени, засягащи една и съща стъпка от фунията, трябва или да бъдат секвенирани, или анализирани като комбиниран дизайн, тъй като посетителите, които изпитват и двете, не могат да бъдат приписани директно на нито един от тях.

В рамките на структурирана оптимизация на скоростта на реализация В програмата планирането на размера на извадката се случва по време на приоритизирането, а не при стартирането. Знанието, че предложеният тест се нуждае от шест седмици трафик, променя приоритета му спрямо идея, която се разрешава за десет дни, и че компромисът между очакваното въздействие и времето за отговор е един от основните входове за пътната карта. За сайтове с по-нисък трафик, a UX одит често осигурява по-добра възвръщаемост от натрупаните експериментални закъснения, защото идентифицира достатъчно сериозни дефекти, че отстраняването им не изисква статистически доказателства.