Многопроменливо тестване

Многовариантното тестване (MVT) е експериментален метод, използван за определяне на това как множество елементи на страницата взаимодействат помежду си чрез едновременно тестване на няколко варианта на два или повече компонента на една и съща страница и измерване на комбинирания ефект върху целеви показател, като например процент на конверсия. Докато стандартният A/B тест сравнява един вариант на цяла страница с друг, многовариантният тест може да променя заглавието по два начина и изображението на героя по три начина едновременно, като по този начин се получават шест различни комбинации, които се показват на различни сегменти от трафика. Резултатът не само идентифицира коя комбинация се представя най-добре като цяло, но и разкрива индивидуалния принос на всеки елемент и дали елементите взаимодействат, което означава, че ефектът на един компонент зависи от това с коя версия на друг компонент е сдвоен.

Този подход е ценен, когато екипът трябва да разбере кои специфични елементи на страницата са водещи до ефективност, вместо просто да потвърди, че един цялостен редизайн превъзхожда друг. Например, редизайнирана целева страница, тествана като един A/B вариант, може да спечели, но без многовариантно тестване няма начин да се знае дали подобрението е дошло от новото заглавие, препозиционираната форма или актуализираните изображения - информация, която е важна при прилагането на наученото към други страници. Многовариантното тестване е най-полезно за страници с висок трафик, тъй като статистическото изискване за откриване на значими разлики в много комбинации, често наричани клетки, нараства значително с всяка допълнителна променлива; пълен факторен дизайн с две променливи с три вариации изисква девет клетки и всяка клетка се нуждае от достатъчен размер на извадката, обикновено стотици или хиляди реализации на клетка, за да достигне надеждна статистическа значимост.

Поради това изискване за трафик, MVT обикновено е запазен за страници, които вече получават значителен обем, като например начална страница на електронна търговия или продуктова страница с високо намерение, и е по-малко практичен за страници с по-нисък трафик, като например нишова B2B целева страница, където последователна серия от прости A/B тестове обикновено води до приложими заключения по-бързо. Платформите за тестване обикновено предлагат два статистически подхода за многовариантно тестване: пълен факториален, който тества всяка възможна комбинация за максимална проницателност, и дробен факториален или Taguchi методи, които тестват намален подмножество от комбинации, за да стигнат до заключения по-бързо за сметка на някои данни за взаимодействие.

Често срещано погрешно схващане е третирането на многовариантното тестване просто като по-бърз начин за едновременно провеждане на няколко A/B теста; в действителност то изисква значително повече трафик и по-дълга продължителност на теста, за да се достигне същата статистическа достоверност като един A/B тест, тъй като трафикът се разделя между много повече варианти. Провеждането на многовариантен тест с ниска мощност, такъв, при който необходимият размер на извадката на клетка не е достигнат преди интерпретирането на резултатите, е една от най-честите причини за погрешни заключения в работата по оптимизация на конверсиите, заедно с преждевременното спиране на теста въз основа на водещите резултати от първата седмица, а не на пълната планирана продължителност на теста, често определяна на две до четири седмици, за да се отчете седмичната сезонност.

В рамките на a CRO В консултантската практика многовариантното тестване обикновено се позиционира като усъвършенстван инструмент, използван след като по-простите A/B тестове вече са потвърдили общата посока на хипотеза, запазен за ситуации, в които клиентът има достатъчен трафик и иска подробна информация за това кои конкретни елементи на страницата да приоритизира в бъдещата дизайнерска работа. Консултантите обикновено съчетават резултатите от MVT с качествени изследвания, като например топлинни карти или потребителски интервюта, за да обяснят не само коя комбинация е спечелила числено, но и защо потребителите са реагирали на нея, превръщайки един единствен експеримент в принцип на дизайн за многократна употреба, който може да информира страници отвъд първоначално тестваната.

Да разгледаме конкретен пример: екип, работещ върху продуктова страница в електронна търговия, иска да тества два варианта на заглавие и два стила на продуктово изображение едновременно. Пълен факторен многовариантен тест генерира четири комбинации и ако страницата се конвертира при базова линия от 5% и екипът иска надеждно да открие относително подобрение от 10% във всяка дадена клетка, необходимият размер на извадката на клетка може лесно да достигне няколко хиляди посетители, което означава, че страницата ще се нуждае от десетки хиляди посетители общо, преди тестът да приключи. Ако вместо това страницата получаваше само няколко хиляди посетители на месец, същият тест щеше да отнеме много месеци, за да достигне значимост, като в този момент провеждането на два последователни A/B теста, първо изолиращи заглавието, а след това изображението, обикновено би довело до уверен и приложим отговор много по-рано.