Спор о том, какой баннер лучше, A/B-тест решает с цифрами на руках: он показывает, какое изменение действительно двигает CTR, конверсию и стоимость заявки, а какое только кажется удачным. Разберём, как спланировать такой эксперимент для баннеров и видео, не ошибиться в настройке и правильно прочитать итог.
С чего начинать: приоритеты для проверки
Начинайте с элементов, которые сильнее всего меняют поведение человека:
- Предложение и выгода — цена, срок, гарантия, «привезём сегодня».
- Начало ролика или первая карточка карусели — то, что удерживает взгляд в первые мгновения.
- Визуальное решение — фон, контраст, герой кадра, ракурс, вид кнопки.
- Продолжительность видео — короткий «крючок» против более длинной версии.
- Текст призыва — «Оформить заказ» против «Получить консультацию».
- Формат — вертикальный или квадратный, лаконичная подпись или развёрнутая.
Главное правило: в одном тесте меняется одна значимая переменная. Поменяли сразу картинку, текст и кнопку — и уже не узнаете, что именно сработало.
Гипотеза: формулировка и учёт
Удобная формула: если мы сделаем [изменение], то [метрика] вырастет или снизится на X%, потому что [наблюдение о клиентах].
Например: «Если показать цену в первые секунды ролика, CTR вырастет на 10%, потому что главное сомнение аудитории — страх, что это дорого».
Все гипотезы удобно вести в одной таблице:
| № | Сравнение | Изменение | Метрика | Ожидаемый эффект | Статус |
|---|---|---|---|---|---|
| H-01 | Ролик A и ролик B | Начало: цена или распаковка | CTR / CPA | CTR +10% | Идёт тест |
Как настроить честный эксперимент
- Равные доли. Делите трафик поровну или выделяйте одинаковые бюджеты, а аудиторию оставляйте одной и той же.
- Один плейсмент. Не смешивайте в одном тесте ленту и сторис: это разные условия просмотра.
- Спокойный период. Закладывайте одну-две недели и не запускайте тест в распродажи или праздники.
- Контроль аукциона. Если CPM или частота показов резко меняются, сравнение вариантов теряет точность.
- Терпение. Не выключайте тест на второй день из-за эффектных цифр — дождитесь запланированного объёма данных.
Сколько данных нужно
Практический ориентир — хотя бы 100–200 целевых действий на каждый вариант: кликов, если сравниваете CTR, или конверсий, если сравниваете CVR и CPA.
Для более точной оценки при уровне значимости 95% и мощности 80% используют приближённую формулу:
n ≈ 16 · p · (1 − p) / MDE²
Здесь p — текущая конверсия, MDE — минимальный эффект, который вы хотите заметить (в долях), n — число посетителей или показов на вариант.
Пример: базовая конверсия 3% (p = 0,03), хотим увидеть разницу в полпункта (MDE = 0,005). Тогда n ≈ 16 · 0,03 · 0,97 / 0,000025 ≈ 18 600 посетителей на вариант, или около 560 конверсий. Чем меньше эффект, тем больше нужна выборка.
Когда результат можно считать надёжным
- CTR и CVR — это доли, их сравнивают z-тестом или критерием хи-квадрат. Разница значима, если p-value не больше 0,05 и она сохраняется в основных сегментах: на разных устройствах и в разных регионах.
- CPA оценивают бутстрэпом или сравнением средних при похожих распределениях. Надёжнее смотреть на CPA вместе с конверсией и ценой клика.
Не забывайте о контрольных метриках, которые не должны просесть при росте CTR: доля отказов, время на сайте, глубина просмотра, конверсия в заявку.
Два условных примера
Баннер с ценой
Неделя показов по интересам. Вариант A — без цены, вариант B — с ценой и пометкой «Только сегодня». B даёт более высокий CTR и более дешёвую заявку (см. таблицу ниже). Решение — масштабировать B и проверить ещё две подачи цены: диапазоном и через скидку.
Короткий ролик против длинного
YouTube In-Stream, десять дней, сравнение короткой и средней версии. Короткий ролик лучше досматривают (VTR условно растёт с 25% до 33%), CTR почти не меняется, а CPA снижается благодаря досмотрам. Вывод: короткая версия работает как «крючок», длинная — для ремаркетинга.
Отчёт на одном экране
Условные цифры для баннерного теста выше:
| Показатель | A | B | Изменение | p-value | Вывод |
|---|---|---|---|---|---|
| Показы | 50 000 | 50 000 | — | — | — |
| Клики | 500 | 600 | +20% | — | — |
| CTR | 1,00% | 1,20% | +20% | 0,002 | Масштабировать B |
| CPC | 4,00 | 3,40 | −15% | — | — |
| Заявки | 55 | 78 | +41,8% | 0,046 | B сильнее |
| CPL | 36,4 | 26,2 | −28% | — | Перенести бюджет в B |
Под таблицей — две-три гипотезы для следующего цикла: цена диапазоном, другой фон, вертикальная версия.
Ритм тестов и частые промахи
На старте кампании сравнивайте два-три варианта предложения или начала ролика. Когда показатели стабилизировались, переходите к деталям: фону, герою, цвету кнопки, длине видео. Регулярно ищите слабое звено воронки: если кликов много, а заявок мало, проверять нужно посадочную страницу, а не баннер. Сезонные сообщения тестируйте отдельно от постоянных.
- Слишком много вариантов на маленький бюджет. Данных не хватает ни на один вывод — тестируйте по очереди.
- Изменения по ходу теста. Смена аудитории или плейсмента обнуляет сравнение.
- Остановка на пике. Ранний «успех» часто оказывается случайностью — держите заранее заданный срок и объём.
- Только CTR. Клики без заявок ничего не стоят — смотрите конверсию и поведение на сайте.
- Перенос «тёплых» креативов на холодную аудиторию. То, что работает в ремаркетинге, новым людям может быть непонятно.
Перед запуском проверьте: одна переменная и деление 50/50; выбрана метрика успеха и MDE; известны срок и нужный объём; плейсмент, аудитория и бюджеты одинаковы; гипотеза записана в таблицу, а правило решения — «масштабировать, отложить или перепроверить» — согласовано заранее.
Если вам нужен план экспериментов под ваш бюджет и каналы, SKY Central Asia поможет выстроить тесты в рамках digital-продвижения. Подробнее о направлении — на странице digital-услуг.
Оставить комментарий