A/B тестирование что это и как использовать - E11even Marketing
Блог
6 июня 2023
430

A/B тестирование что это и как использовать

Содержание:

Любой бизнес нуждается в изменениях. Это не тот случай, когда актуален принцип «работает — не трогай», потому что конкуренты постоянно придумают что-то новое, на рынке появляются новые игроки. И то, что приносило хороший доход вчера, сегодня может оказаться невыигрышным. Многие даже крупные компании начинают деградировать, если сохраняют «все как есть». Любой бизнес должен постоянно увеличивать свою аудиторию, охваты, изменять дизайн приложения и сайта, пробовать новинки продвижения. Только тогда результат будет устраивать владельцев.

Однако предсказать, что сработает, а что нет довольно трудно. Поэтому введен способ проверки — A/B тестирование. Это универсальная методика. Ее традиционно относят к пробам лендингов, сайтов, приложений, но на самом деле проверять гипотезы можно в любом направлении. Работает A/B тестирование достаточно просто. 

Что такое A/B тестирование

Маркетинговый метод A/B-тестирования — это изначально способ оценки, управления эффективностью страницы в интернете. Альтернативное название — сплит-тестирование (термин произошел от английского понятия split — разделение, разъединение). 

A/B-тестирование предназначено для оценки показателей двух различных вариантов продукта. Изначально речь шла о веб-страницах, которые можно легко сравнить по наличию определенных элементов (кнопок, надписей, перелинковки, баннеров). Позже сплит-тестирование стали использовать во многих других сферах деятельности. Смысл подхода следующий: 

  • Запускаются два варианта, где может быть несколько небольших отличий. 
  • Оба предлагают один и тот же продукт, одни и те же условия (если не проводится сплит-анализ именно предложений, акций, скидок и т.д.).
  • Различия включают именно то, что компания собирается проверить. Например, если речь о веб-сайте, это могут быть элементы дизайна, изображений, призывов к действию. Даже цвета кнопок. 
  • Оба варианта запускаются, а потом проводится анализ, который приносит большие результаты — конверсию, отклики, лучшую реакцию со стороны пользователей. 
  • Тестировать можно больше одного элемента, но потребуется фиксировать, какие именно проходят проверку. 

В результате остается «выигрышный» вариант, который и получает более широкую стимуляцию. Например, если это посадочная страница, то на нее «льется» основной трафик из контекстной рекламы, баннерных показов и т.д. Поскольку этот вариант уже доказал свою «жизнеспособность», то и качество продвижения улучшается, а следовательно, компания получает большую отдачу. 

С чего начать сплит-тестирование

Первый этап A/B-тестинга — это оценка параметров существующей страницы. Вместо веб-сайта может быть любая другая реклама — от брошюры до речовки для радио. Речь лишь о том, чтобы получалось выделить конкретные критерии. Сайт или продающая страница — самые очевидные примеры, потому что их показатели можно отследить практически «в реальном времени»: инструментов для анализа статистики предостаточно. Маркетолог делает так: 

  • Берет изначальный сайт. Это А-вариант, основная или контрольная страница. Допустим, у компании уже есть интернет-магазин, который приносит определенный доход. Средняя конверсия составляет 3%, но маркетолог решил повысить ее хотя бы вдвое, до 6%. 
  • Бюджет на рекламу у компании ограничен, да и нет смысла запускать дополнительный контекст, баннеры и т.д. Поэтому изменения будут вноситься в сам сайт. 
  • Теперь надо выделить параметры, которые можно будет изменять, чтобы добиться желаемой цели. В случае посадочной страницы или магазина это могут быть цветовые схемы, кнопки, текст призывов к действию, расположение иконки «Корзины» и многое другое. 
  • Все эти параметры выписываются, чтобы создать альтернативу. Например, кнопка «купить» на имеющемся сайте нейтрального темно-серого цвета, что вписывается в общую гамму. Но маркетолог хочет повысить конверсию и предлагает сделать ее ярко-красной, мотивируя это решение, что такую никто не пропустит и все обязательно заметят.
  • Сразу менять кнопку на красную не стоит. Неизвестно как среагируют потенциальные клиенты. Зато можно создать альтернативный B-сайт, где будут внесены все изменения согласно выбранным ранее параметрам. 
  • Теперь можно запускать сплит-тестирование. Общий рекламный бюджет остается прежним, но теперь трафик равномерно делится между A/B-версиями. Половина людей, которые кликнули по рекламе, попадет на первую «нейтральную» страницу, а другая — на новую с яркими красными кнопками и более заметными призывами к действию. Здесь необходимо поддерживать четкое разделение 50% на 50%, чтобы тест гипотезы оставался валидным. 

Некоторое время работают оба сайта. Затем маркетолог собирает результаты. Число посетителей у первого А-магазина уменьшилось вдвое, но конверсия должна была остаться в том же диапазоне 3%. А вот по второму смотрят: больше она или меньше. И если выясняется, что метод сработал, изменения вносятся уже на первую страницу. Ну, а если пользователи не оценили яркие краски, то можно попробовать протестировать другой параметр или сделать кнопку «Купить» синей, зеленой, розовой и т.д. B-вариант называется контрольным. 

Какие параметры можно проверить

Сплит-тестирование — прикладная методика. С его помощью изменяют различные параметры рекламной информации. A/B-проверки используются не только в среде веб, хотя именно здесь они применяются наиболее активно — просто потому что поправить цвет кнопки или расположение надписи «Купить прямо сейчас» гораздо проще, чем заново верстать партию брошюр, отдавать их в типографию, печатать и т.д. Тем не менее, серьезных ограничений по использованию нет — все на выбор маркетолога. Примеры тестируемых параметров: 

  • Скорость загрузки страницы — если обнаруживается большое число отказов, есть смысл проверить наличие «тяжелой» графики. Разумеется, речь не идет об объективно долгой загрузке (2-3 секунды и более), тестируется здесь гипотеза о долях секунды.
  • Если слишком много отказов при первом визите, можно попробовать проверить дизайн или предложение в целом. Отказ означает, что посетитель ушел, практически не взглянув на то, что ему готова предоставить страница. Вероятно, проблема в оформлении, а может, в заглавном тексте: пользователям непонятно, неинтересно, не хочется оставаться.
  • Часто тестируются внешние элементы — кнопки, фотографии, расположение элементов.
  • Также почти всегда проверяется текстовая часть, особенно заголовки, УТП, оферы. Здесь лучше провести сплит-тестирование не только для онлайн-версии, но и для оффлайн — лозунги, слоганы и прочую информацию, которая ассоциируется с брендом, желательно сначала испытать на фокус-группе.
  • На сайтах и лендингах проверяются конверсионные формы — насколько у них удобный и понятный размер, привлекательны ли он, не занимают ли слишком мало (трудно набрать, особенно если клиент использует мобильный телефон) или, напротив, слишком много места (некомфортно, лезет в глаза). 
  • Макет, дизайн. Это тоже относится не только к сайту, а к любой визуальной продукции. Желательно провести A/B-проверку в небольшом объеме — например, заказать ограниченный тираж, прежде чем запускать крупномасштабную акцию.
  • Также проверяется стоимость товара, элементы предложения. Разумеется, каждый бизнес хочет получать максимум прибыли со своего продукта. Но если поставить слишком высокую цену, то люди просто пойдут искать аналогичный товар в другом месте. Исключения есть, но их не так уж можно. При повышении стоимости желательно испытывать на потенциальных покупателях, насколько изменение цены отразится на конверсии и продажах. 
  • Изображения, картинки, иллюстрации. Тоже не стоит ограничивать эту возможность сплит-тестирования только лендингами и веб-страницами. Она вполне применима и в других сферах, вплоть до журнальной верстки. 
  • Количество, объем текста. Слишком мало — не поймут, слишком много — будет «лень читать». Гипотезы строятся на основании того, что определенный объем оптимален, а методика вычисляет этот «оптимум».

Можно протестировать что угодно. Если речь идет о тех моментах рекламной кампании, которые трудно заменить, то лучше сначала провести исследование на небольшой фокус-группе. А в случае интернет-продвижения опасаться нечего: любой элемент динамичен, трансформации займут от нескольких секунд до нескольких дней — в том случае, когда программисту и дизайнеру придется переделывать макет сайта. 

Шесть шагов A/B-тестирования. 

«Хвататься за все и сразу» нет никакой необходимости. Существует достаточно простая схема, которая позволит выявить «слабые места» или просто то, что стоит проверить, а потом воспользоваться результатами. Всего предусмотрено шесть шагов в A/B-проверке.

Шаг первый: постановка цели

Этот шаг кажется простым и очевидным, но на практике некоторые маркетологи ошибочно ставят цель. Например, считают, что нужно увеличивать количество подписок на новостные рассылки компании и работают с формами обратной связи, привлекают к ним ненужное внимание. А по факту необходимо сосредоточиться на продажах, а подписки — это «бонусная» активность. Если она есть — хорошо, если кто-то просто заходит и покупает, ни на что не подписываясь — его право, не надо заставлять и переключать внимание. 

Поэтому постановка цели и гипотезы должна согласовываться с глобальной целью компании. Есть ситуации, когда важна именно подписка — примером могут быть различные курсы, дорогостоящие товары: вряд ли кто-то поступит в иностранный университет или купит машину «в один клик», но может подписаться, а потом, через несколько недель или даже месяцев принять решение. 

Шаг второй: выбор метрики

Этот момент тоже очень важен для того, чтобы проверка стала успешной. Под выбором метрики понимают следующие ключевые моменты: 

  • объемы продаж;
  • выручка;
  • количество посетителей;
  • средний чек;
  • число отказов;
  • конверсия;
  • чистая прибыль.

Не всегда большая выручка означает выгоду для компании: если огромные средства уходят на штат, на рекламу, на поддержку всех активностей, то финальный результат — чистая прибыль может быть совсем незначительным. А это сигнал того, что необходимо менять подход. 

Еще один пример: специалист по контекстной рекламе создает кампанию. Люди приходят на сайт, обращаются, пишут, но потом покупку не совершают. Контекстолог отчитывается об успешной конверсии с рекламных объявлений, веб-мастер — о том, что сайт приносит отдачу, но компании от этого никакой выгоды. Значит, нужно что-то менять в объявлениях — люди хотели одного, а на веб-странице увидели другое, в ценах, в условиях доставки или других параметрах. 

Рекомендуется выбирать не слишком много метрик. В идеале — одна, но можно две или три. Тогда будет достигнута максимальная эффективность отслеживания параметров. Оптимальный вариант: средний чек и чистая прибыль. Последний вообще универсален, ведь он показывает успешность бизнеса. 

Шаг третий: выбрать гипотезу

Единая схема выбора гипотезы: «Если то, то что-то». При этом, вторая часть — это базовая метрика, которую на предыдущем этапе определили как главную. Например: «Если сделать кнопку «Купить» более яркой, то увеличится чистая прибыль». Желательно подставить измеряемый показатель: не просто «вырастет», а «конверсия сейчас 3%, а должна стать 6-9%».

Гипотезы должны быть реалистичные. Конверсия интернет-магазина не может быть ни 50%, ни тем более 90%. Всего есть два типа предположений: 

  • Нулевая гипотеза. Изменение никак не повлияет ни на конверсию, ни на чистую прибыль. 
  • Альтернативная: изменения приведут к увеличению конверсии и прибыли. 

Цель сплит-тестинга — опровергнуть нулевую гипотезу. Но корректировки не сработали, то придется это признать, остановиться на нулевой. Иногда на B-материале (например, сайте) конверсия ухудшается. Это означает, что гипотеза в целом верна — параметр влияет на показатели, но нужно проработать ее еще раз. Например, сделать кнопку «Купить» не более, а менее яркой, чтобы она не смотрелась чрезмерно назойливо и не раздражала потенциальных покупателей. 

Шаг четвертый: выбрать дизайн

Еще один важный шаг, который касается уже прямого выполнения задач. Именно от него будет зависеть, насколько корректно пройдет A/B-тестирование. «Дизайн» — это общее понятие, однако речь может идти о технических моментах — расположение кнопок, управляющих элементов. Или же о цветах. Или о текстах. А иногда обо всем сразу. Перед внесением изменений нужно ответить на такие вопросы: 

  • тестирует ли A/B-проверка имеющихся пользователей, только новых, тех и других, определенный сегмент; 
  • способ, по которому клиенты разбиваются на группы — по месту проживания, по возрасту, по полу и т.д.;
  • количество тестируемых — иногда это небольшая выборка в двадцать-тридцать человек, а иногда десятки и сотни тысяч;
  • как долго будет идти тестирование одной гипотезы;
  • уровень значимости — статистический показатель (он стандартный, 90-95%). 

Иногда с объемом выборки определиться непросто. Фокус-группы крупных компаний порой всего двадцать-тридцать человек. Обычно отталкиваются от желаемых изменений. В случае веб-кампаний можно делать довольно большие объемы выборки, ведь вам не придется специально приглашать людей, заключать с ними какие-либо контракты. Просто перенаправляете часть трафика на альтернативный вариант. Это может быть 10%, 20% или все 50% как в классическом A/B-примере. 

Шаг пятый: сам эксперимент

Просто запускаете и ждете. Ничего больше делать не надо, просто поддерживать рабочее состояние проекта. Вмешиваться не следует, даже если вам показалось, что конверсия, например, на проверочном B-лендинге возросла сразу же в десять раз — это не повод прерывать эксперимент и «все менять». Результативная статистика сформируется не так быстро. В этом тестировании важно отслеживание долгосрочных показателей. 

Шаг шестой: анализ результатов

Для анализа используют статистические методы, которые помогают сравнить показатели. Вы поймете, есть ли эффект от изменений, нет ли случайной флуктуации. Именно поэтому было важно на предыдущем шаге выдержать определенный период, чтобы случайно не «задеть» пиковый момент либо, напротив, спад активности пользователей.  

Ошибка в A/B-тестировании возникает, если результат есть, но его не замечают или наоборот — реальных изменений есть, но кратковременные показатели повышаются (или падают). Поэтому важно соблюсти все шесть шагов. А потом уже принимать решение по внесению изменений в A-версию. 

Как стать менеджером Wildberries с нуля и зарабатывать от 1000$/мес. на удаленке
Регистрируйтесь на бесплатный вебинар
Рекомендуемые статьи:
Таргетинг
26.04.2021
Лид-формы в рекламе для бизнеса — примеры, как работают и как внедрить
Неочевидным, но очень гибким и эффективным способом привлечения заявок из таргетированной рекламы является трафик на лид-форму. Если вам нужны потенциальные клиенты в течение часа или вы хотите быстро запустить горячую акцию, но сайт еще не готов к рекламе, то это самый простой способ решить ваши задачи. Все, что вам нужно — это бюджет в рекламу […]
5122
Читать статью
Таргетинг
3.08.2021
Сколько реально зарабатывает таргетолог
Пандемия коронавируса существенно изменила мировую ситуацию в рекламном бизнесе. Суть простая: даже очень крупные бренды стараются минимизировать бюджеты, ищут недорогие способы заявить о себе и своем продукте. Те компании, которые раньше ориентировались на рекламу по телевидению, на билбордах, на транспорте, создавали промо-кампании в офлайне, предпочитают менее дорогостоящие методы, которые позволяли бы достигать аналогичного эффекта. Доля […]
2804
Читать статью
Интернет-маркетинг
4.04.2021
Личный бренд как путь к профессиональному успеху
Что такое личный бренд Личный бренд (Персональный бренд) — это популярная стратегия продвижения бизнеса через человеческую личность. У каждого из нас известные компании ассоциируются с определенной личностью: Apple — Стив Джобс; Microsoft — Билл Гейтс; Tesla — Илон Маск; Тинькофф Банк — Олег Тиньков; Dodo Pizza — Федор Овчинников. Если вы владелец бизнеса, то эта […]
660
Читать статью
Веб-дизайн
15.02.2021
Краткое руководство, как стать веб-дизайнером с нуля
Часто ли вы задумываетесь о том, что могли бы улучшить дизайн посещаемых вами сайтов? Или, возможно, у вас уже есть личный блог, который вы активно ведете и заметили, что процесс проектирования и создания сайта вам очень импонирует. Если это так, и вы хорошо разбираетесь в деталях, обладаете талантом к креативу и творчеству, не боитесь технических […]
6014
Читать статью
Блог
6.06.2023
Сервисы для отложенного постинга в соцсетях
Сервисы для отложенного постинга в соцсетях Создание контента — не такая уж простая задача. Мало сделать креативный продающий пост, добавить к нему яркую привлекательную картинку или видео. Еще нужно опубликовать в соответствующее время, иначе вся работа пропадет. Существуют определенные правила, с которыми знакомо большинство специалистов в области SMM, а также таргетированной рекламы. Они относятся к […]
443
Читать статью
Таргетинг
18.04.2021
Баны и блокировка рекламы в Facebook и Instagram
В этой статье мы с вами разберем правила для таргетированной рекламы и блокировки рекламного аккаунта Facebook. Политика Facebook очень жесткая в плане соблюдения этих правил и можно легко получить бан из-за незнаний базовых требований. Перед тем, как настраивать таргет в Facebook ознакомьтесь с информацией ниже. Правила Facebook Перед запуском рекламы ознакомьтесь с правилами рекламной деятельности […]
3894
Читать статью
Интернет-маркетинг
15.05.2021
Призыв к действию — что это на конкретных примерах
Что такое призыв к действию? Призыв к действию (Call To Action, или CTA) представляет собой текст, изображение или кнопку, побуждающую пользователя или потенциального клиента (лида) к немедленному действию. CTA обычно используется в текстах рекламных объявлений, сайтов и постов в социальных сетях. Здесь желаемым действием может быть что угодно, например: заполнение контактной формы на сайте; регистрация […]
887
Читать статью
Интернет-маркетинг
11.03.2021
Инструменты интернет-маркетинга — бесплатные и платные
Интернет-маркетинг — это комплекс мероприятий, направленный на продвижение, продажу товаров и услуг через интернет с помощью инструментов, которые: привлекают внимание потребителя; подогревают его интерес; убеждают в ценности продукта; вызывают доверие; подталкивают к желаемому целевому действию и продают. Интернет-маркетинг — это широкое понятие, охватывающее целый ряд маркетинговых стратегий и тактик, а также инструментов для их реализации. […]
1940
Читать статью
Веб-дизайн
17.10.2021
Футер сайта — что это и зачем нужен
Сайты строятся по определенной логике и структуре. Это удобно и пользователям, которые привыкают к стандартной «логике» — например, большинство станет искать разделы меню вверху справа или слева, информацию о товарах в корзине на сайте интернет-магазина — справа в углу. Программистам тоже подобная стандартизация облегчает задачу создания сайта, верстки, а поисковые роботы и другие «искусственные интеллекты», […]
2124
Читать статью
SMM
8.06.2022
Массфоловинг в Instagram что это и как его настроить
Массфоловинг в Instagram что это и как его настроить — сервисы массфоловинга Массовая подписка на пользователей, которая делается с целью увеличить собственную базу, называется массфоловингом. В 2021 году многие специалисты критикуют этот метод привлечения к себе и своему аккаунту внимания. Однако он по-прежнему может сработать, если не действовать по алгоритмам семи-восьмилетней давности, а также правильно […]
1837
Читать статью
Интернет-маркетинг
21.06.2021
SWOT-анализ — что это и как его правильно сделать
В кризис или в «спокойное» время бизнес всегда подвергается риску «прогореть». По статистике до 80% стартапов не только не доживают до момента своей окупаемости, но и «умирают» в первые несколько месяцев своего существования. Это происходит не потому, что идеи плохи или люди не хотят всерьез заниматься своим делом, а из-за того, что не была на […]
1286
Читать статью
Интернет-маркетинг
20.05.2021
6 лучших бирж фриланса для начинающих
Если вы читали рекламные описания бирж фриланса, то могли подумать, что это работа мечты. Вся происходит удаленно, вы берете себе задачи по интересам и работаете только с теми людьми, которые нравятся лично вам. Работаете сколько хотите и там, где хотите. В ответ сразу выделим основную мысль статьи: Заработать на биржах фриланса можно, но придется хорошо […]
740
Читать статью
Оставьте ваш комментарий