Мультивариантты тестілеу (MVT) — бір беттегі екі немесе одан көп компоненттің бірнеше нұсқасын бір мезгілде сынау арқылы беттің элементтері бір-бірімен қалай өзара әрекеттесетінін анықтайтын және біріккен әсерді конверсия коэффициенті сияқты мақсатты көрсеткіш бойынша өлшейтін эксперимент әдісі. Стандартты A/B тест бір бет нұсқасын екіншісімен салыстыратын болса, мультивариантты тест тақырыпты екі тәсілмен, ал басты суретті үш тәсілмен бір мезгілде өзгертіп, трафиктің әртүрлі сегменттеріне көрсетілетін алты нақты комбинация жасауы мүмкін. Нәтиже тек жалпы алғанда ең жақсы комбинацияны ғана емес, сонымен қатар әр элементтің жеке үлесін және элементтердің өзара әрекеттесуін, яғни бір компоненттің әсері екіншісінің қай нұсқасымен жұптасқанына байланысты екенін де көрсетеді.
Бұл тәсіл команда бір тұтас қайта дизайнның екіншісінен асып түскенін растаудан гөрі, беттің қай нақты элементтері нәтижені қалыптастыратынын түсінуі қажет болғанда құнды. Мысалы, жаңартылған лендинг бір A/B нұсқа ретінде сыналғанда жеңуі мүмкін, бірақ мультивариантты тестілеусіз жақсарту жаңа тақырыптан, қайта орналастырылған формадан немесе жаңартылған суреттерден келгенін білудің жолы жоқ, ал бұл ақпарат үйренген тәжірибені басқа беттерге қолданғанда маңызды. Мультивариантты тестілеу трафигі жоғары беттер үшін ең пайдалы, себебі көптеген комбинациялар, көбіне ұяшықтар (cells) деп аталатындар, арасындағы мәнді айырмашылықтарды анықтауға қойылатын статистикалық талап әр қосымша айнымалымен айтарлықтай өседі; әрқайсысында үш нұсқа бар екі айнымалысы бар толық факторлық дизайн тоғыз ұяшықты қажет етеді, ал әр ұяшыққа сенімді статистикалық мәнділікке жету үшін жеткілікті іріктеме көлемі, көбіне ұяшыққа жүздеген немесе мыңдаған конверсия қажет.
Осы трафик талабына байланысты MVT әдетте e-commerce басты беті немесе ниеті жоғары өнім беті сияқты көлемі үлкен беттерге арналады және ниша B2B лендингі сияқты трафигі төмен беттер үшін тәжірибеде аз қолайлы, мұнда қарапайым A/B тесттердің дәйекті сериясы әдетте іс жүзінде қолданылатын қорытындыларға тезірек жеткізеді. Тестілеу платформалары мультивариантты тестілеуге әдетте екі статистикалық тәсіл ұсынады: ең үлкен түсінік үшін барлық мүмкін комбинацияларды сынайтын толық факторлық және кейбір өзара әрекеттесу деректерінің есебінен қорытындыға тезірек жету үшін комбинациялардың қысқартылған жиынтығын сынайтын бөлшек факторлық немесе Taguchi әдістері.
Жиі кездесетін түсінбеушілік — мультивариантты тестілеуді бірнеше A/B тестті бір мезгілде жүргізудің жылдамырақ жолы деп санау; шын мәнінде трафик әлдеқайда көп нұсқаға бөлінгендіктен, ол бір A/B тестпен бірдей статистикалық сенімділікке жету үшін айтарлықтай көп трафикті және ұзағырақ тест ұзақтығын талап етеді. Қуаты жеткіліксіз мультивариантты тестті жүргізу, яғни нәтижелер түсіндірілгенге дейін әр ұяшыққа қажетті іріктеме көлеміне жетпеген тест, конверсияны оңтайландыру жұмысындағы жалған қорытындылардың ең көп таралған себептерінің бірі; сондай-ақ тестті жоспарланған толық ұзақтығына, көбіне апта сайынғы маусымдылықты ескеру үшін екіден төрт аптаға дейін белгіленген мерзімге жетпей, бірінші аптадағы алдыңғы нәтижелерге сүйеніп мерзімінен бұрын тоқтату да осындай қателікке жатады.
CRO консалтингі тәжірибесінде мультивариантты тестілеу әдетте қарапайым A/B тесттер гипотезаның жалпы бағытын растап болғаннан кейін қолданылатын жетілдірілген құрал ретінде орналастырылады және клиентте жеткілікті трафик болып, болашақ дизайн жұмысында беттің қай нақты элементтеріне басымдық беру керектігі туралы егжей-тегжейлі түсінік қажет болған жағдайларға арналады. Кеңесшілер әдетте MVT нәтижелерін жылу карталары немесе пайдаланушы сұхбаттары сияқты сапалық зерттеулермен біріктіреді, осылайша қай комбинацияның сандық тұрғыдан жеңгенін ғана емес, пайдаланушылардың оған неге осылай жауап бергенін де түсіндіреді және бір экспериментті бастапқы сыналған беттен тыс беттерге де пайдалануға болатын қайта қолданылатын дизайн принципіне айналдырады.
Нақты мысалды қарастырайық: e-commerce өнім бетінің командасы екі тақырып нұсқасын және екі өнім суреті стилін бір мезгілде сынағысы келеді. Толық факторлық мультивариантты тест төрт комбинация береді, ал егер беттің базалық конверсиясы 5 пайыз болса және команда кез келген ұяшықта 10 пайыздық салыстырмалы жақсартуды сенімді анықтағысы келсе, әр ұяшыққа қажетті іріктеме көлемі оңай бірнеше мың келушіге жетуі мүмкін, яғни тест аяқталғанға дейін бетке барлығы он мыңдаған келуші қажет болады. Егер бетке айына тек бірнеше мың келуші келсе, дәл сол тест мәнділікке жету үшін көп ай алар еді, ал мұндай жағдайда алдымен тақырыпты, содан кейін суретті бөліп алып, екі дәйекті A/B тест жүргізу әдетте сенімді, іс жүзінде қолданылатын жауапты әлдеқайда ерте береді.
M әрпінен басталатын қосымша терминдер
Нарық көлемін бағалауМаркетингті автоматтандыру (Marketing Automation)Маркетинг-микс модельдеу (MMM)Маркетингтік біліктілікті өткен лид (MQL)Жетілу моделі (Maturity Model)Медиа-кит (Media Kit)Медиа-жоспарлау (Media Planning)Ментальді модель (Mental Model)Мерчандайзинг (Merchandising)МикроконверсияларМикротекст (Microcopy)Анықталатын ең аз әсер (MDE)
