Любой бизнес нуждается в изменениях. Это не тот случай, когда актуален принцип «работает — не трогай», потому что конкуренты постоянно придумают что-то новое, на рынке появляются новые игроки. И то, что приносило хороший доход вчера, сегодня может оказаться невыигрышным. Многие даже крупные компании начинают деградировать, если сохраняют «все как есть». Любой бизнес должен постоянно увеличивать свою аудиторию, охваты, изменять дизайн приложения и сайта, пробовать новинки продвижения. Только тогда результат будет устраивать владельцев.
Однако предсказать, что сработает, а что нет довольно трудно. Поэтому введен способ проверки — A/B тестирование. Это универсальная методика. Ее традиционно относят к пробам лендингов, сайтов, приложений, но на самом деле проверять гипотезы можно в любом направлении. Работает A/B тестирование достаточно просто.
Что такое A/B тестирование
Маркетинговый метод A/B-тестирования — это изначально способ оценки, управления эффективностью страницы в интернете. Альтернативное название — сплит-тестирование (термин произошел от английского понятия split — разделение, разъединение).
A/B-тестирование предназначено для оценки показателей двух различных вариантов продукта. Изначально речь шла о веб-страницах, которые можно легко сравнить по наличию определенных элементов (кнопок, надписей, перелинковки, баннеров). Позже сплит-тестирование стали использовать во многих других сферах деятельности. Смысл подхода следующий:
- Запускаются два варианта, где может быть несколько небольших отличий.
- Оба предлагают один и тот же продукт, одни и те же условия (если не проводится сплит-анализ именно предложений, акций, скидок и т.д.).
- Различия включают именно то, что компания собирается проверить. Например, если речь о веб-сайте, это могут быть элементы дизайна, изображений, призывов к действию. Даже цвета кнопок.
- Оба варианта запускаются, а потом проводится анализ, который приносит большие результаты — конверсию, отклики, лучшую реакцию со стороны пользователей.
- Тестировать можно больше одного элемента, но потребуется фиксировать, какие именно проходят проверку.
В результате остается «выигрышный» вариант, который и получает более широкую стимуляцию. Например, если это посадочная страница, то на нее «льется» основной трафик из контекстной рекламы, баннерных показов и т.д. Поскольку этот вариант уже доказал свою «жизнеспособность», то и качество продвижения улучшается, а следовательно, компания получает большую отдачу.
С чего начать сплит-тестирование
Первый этап A/B-тестинга — это оценка параметров существующей страницы. Вместо веб-сайта может быть любая другая реклама — от брошюры до речовки для радио. Речь лишь о том, чтобы получалось выделить конкретные критерии. Сайт или продающая страница — самые очевидные примеры, потому что их показатели можно отследить практически «в реальном времени»: инструментов для анализа статистики предостаточно. Маркетолог делает так:
- Берет изначальный сайт. Это А-вариант, основная или контрольная страница. Допустим, у компании уже есть интернет-магазин, который приносит определенный доход. Средняя конверсия составляет 3%, но маркетолог решил повысить ее хотя бы вдвое, до 6%.
- Бюджет на рекламу у компании ограничен, да и нет смысла запускать дополнительный контекст, баннеры и т.д. Поэтому изменения будут вноситься в сам сайт.
- Теперь надо выделить параметры, которые можно будет изменять, чтобы добиться желаемой цели. В случае посадочной страницы или магазина это могут быть цветовые схемы, кнопки, текст призывов к действию, расположение иконки «Корзины» и многое другое.
- Все эти параметры выписываются, чтобы создать альтернативу. Например, кнопка «купить» на имеющемся сайте нейтрального темно-серого цвета, что вписывается в общую гамму. Но маркетолог хочет повысить конверсию и предлагает сделать ее ярко-красной, мотивируя это решение, что такую никто не пропустит и все обязательно заметят.
- Сразу менять кнопку на красную не стоит. Неизвестно как среагируют потенциальные клиенты. Зато можно создать альтернативный B-сайт, где будут внесены все изменения согласно выбранным ранее параметрам.
- Теперь можно запускать сплит-тестирование. Общий рекламный бюджет остается прежним, но теперь трафик равномерно делится между A/B-версиями. Половина людей, которые кликнули по рекламе, попадет на первую «нейтральную» страницу, а другая — на новую с яркими красными кнопками и более заметными призывами к действию. Здесь необходимо поддерживать четкое разделение 50% на 50%, чтобы тест гипотезы оставался валидным.
Некоторое время работают оба сайта. Затем маркетолог собирает результаты. Число посетителей у первого А-магазина уменьшилось вдвое, но конверсия должна была остаться в том же диапазоне 3%. А вот по второму смотрят: больше она или меньше. И если выясняется, что метод сработал, изменения вносятся уже на первую страницу. Ну, а если пользователи не оценили яркие краски, то можно попробовать протестировать другой параметр или сделать кнопку «Купить» синей, зеленой, розовой и т.д. B-вариант называется контрольным.
Какие параметры можно проверить
Сплит-тестирование — прикладная методика. С его помощью изменяют различные параметры рекламной информации. A/B-проверки используются не только в среде веб, хотя именно здесь они применяются наиболее активно — просто потому что поправить цвет кнопки или расположение надписи «Купить прямо сейчас» гораздо проще, чем заново верстать партию брошюр, отдавать их в типографию, печатать и т.д. Тем не менее, серьезных ограничений по использованию нет — все на выбор маркетолога. Примеры тестируемых параметров:
- Скорость загрузки страницы — если обнаруживается большое число отказов, есть смысл проверить наличие «тяжелой» графики. Разумеется, речь не идет об объективно долгой загрузке (2-3 секунды и более), тестируется здесь гипотеза о долях секунды.
- Если слишком много отказов при первом визите, можно попробовать проверить дизайн или предложение в целом. Отказ означает, что посетитель ушел, практически не взглянув на то, что ему готова предоставить страница. Вероятно, проблема в оформлении, а может, в заглавном тексте: пользователям непонятно, неинтересно, не хочется оставаться.
- Часто тестируются внешние элементы — кнопки, фотографии, расположение элементов.
- Также почти всегда проверяется текстовая часть, особенно заголовки, УТП, оферы. Здесь лучше провести сплит-тестирование не только для онлайн-версии, но и для оффлайн — лозунги, слоганы и прочую информацию, которая ассоциируется с брендом, желательно сначала испытать на фокус-группе.
- На сайтах и лендингах проверяются конверсионные формы — насколько у них удобный и понятный размер, привлекательны ли он, не занимают ли слишком мало (трудно набрать, особенно если клиент использует мобильный телефон) или, напротив, слишком много места (некомфортно, лезет в глаза).
- Макет, дизайн. Это тоже относится не только к сайту, а к любой визуальной продукции. Желательно провести A/B-проверку в небольшом объеме — например, заказать ограниченный тираж, прежде чем запускать крупномасштабную акцию.
- Также проверяется стоимость товара, элементы предложения. Разумеется, каждый бизнес хочет получать максимум прибыли со своего продукта. Но если поставить слишком высокую цену, то люди просто пойдут искать аналогичный товар в другом месте. Исключения есть, но их не так уж можно. При повышении стоимости желательно испытывать на потенциальных покупателях, насколько изменение цены отразится на конверсии и продажах.
- Изображения, картинки, иллюстрации. Тоже не стоит ограничивать эту возможность сплит-тестирования только лендингами и веб-страницами. Она вполне применима и в других сферах, вплоть до журнальной верстки.
- Количество, объем текста. Слишком мало — не поймут, слишком много — будет «лень читать». Гипотезы строятся на основании того, что определенный объем оптимален, а методика вычисляет этот «оптимум».
Можно протестировать что угодно. Если речь идет о тех моментах рекламной кампании, которые трудно заменить, то лучше сначала провести исследование на небольшой фокус-группе. А в случае интернет-продвижения опасаться нечего: любой элемент динамичен, трансформации займут от нескольких секунд до нескольких дней — в том случае, когда программисту и дизайнеру придется переделывать макет сайта.
Шесть шагов A/B-тестирования.
«Хвататься за все и сразу» нет никакой необходимости. Существует достаточно простая схема, которая позволит выявить «слабые места» или просто то, что стоит проверить, а потом воспользоваться результатами. Всего предусмотрено шесть шагов в A/B-проверке.
Шаг первый: постановка цели
Этот шаг кажется простым и очевидным, но на практике некоторые маркетологи ошибочно ставят цель. Например, считают, что нужно увеличивать количество подписок на новостные рассылки компании и работают с формами обратной связи, привлекают к ним ненужное внимание. А по факту необходимо сосредоточиться на продажах, а подписки — это «бонусная» активность. Если она есть — хорошо, если кто-то просто заходит и покупает, ни на что не подписываясь — его право, не надо заставлять и переключать внимание.
Поэтому постановка цели и гипотезы должна согласовываться с глобальной целью компании. Есть ситуации, когда важна именно подписка — примером могут быть различные курсы, дорогостоящие товары: вряд ли кто-то поступит в иностранный университет или купит машину «в один клик», но может подписаться, а потом, через несколько недель или даже месяцев принять решение.
Шаг второй: выбор метрики
Этот момент тоже очень важен для того, чтобы проверка стала успешной. Под выбором метрики понимают следующие ключевые моменты:
- объемы продаж;
- выручка;
- количество посетителей;
- средний чек;
- число отказов;
- конверсия;
- чистая прибыль.
Не всегда большая выручка означает выгоду для компании: если огромные средства уходят на штат, на рекламу, на поддержку всех активностей, то финальный результат — чистая прибыль может быть совсем незначительным. А это сигнал того, что необходимо менять подход.
Еще один пример: специалист по контекстной рекламе создает кампанию. Люди приходят на сайт, обращаются, пишут, но потом покупку не совершают. Контекстолог отчитывается об успешной конверсии с рекламных объявлений, веб-мастер — о том, что сайт приносит отдачу, но компании от этого никакой выгоды. Значит, нужно что-то менять в объявлениях — люди хотели одного, а на веб-странице увидели другое, в ценах, в условиях доставки или других параметрах.
Рекомендуется выбирать не слишком много метрик. В идеале — одна, но можно две или три. Тогда будет достигнута максимальная эффективность отслеживания параметров. Оптимальный вариант: средний чек и чистая прибыль. Последний вообще универсален, ведь он показывает успешность бизнеса.
Шаг третий: выбрать гипотезу
Единая схема выбора гипотезы: «Если то, то что-то». При этом, вторая часть — это базовая метрика, которую на предыдущем этапе определили как главную. Например: «Если сделать кнопку «Купить» более яркой, то увеличится чистая прибыль». Желательно подставить измеряемый показатель: не просто «вырастет», а «конверсия сейчас 3%, а должна стать 6-9%».
Гипотезы должны быть реалистичные. Конверсия интернет-магазина не может быть ни 50%, ни тем более 90%. Всего есть два типа предположений:
- Нулевая гипотеза. Изменение никак не повлияет ни на конверсию, ни на чистую прибыль.
- Альтернативная: изменения приведут к увеличению конверсии и прибыли.
Цель сплит-тестинга — опровергнуть нулевую гипотезу. Но корректировки не сработали, то придется это признать, остановиться на нулевой. Иногда на B-материале (например, сайте) конверсия ухудшается. Это означает, что гипотеза в целом верна — параметр влияет на показатели, но нужно проработать ее еще раз. Например, сделать кнопку «Купить» не более, а менее яркой, чтобы она не смотрелась чрезмерно назойливо и не раздражала потенциальных покупателей.
Шаг четвертый: выбрать дизайн
Еще один важный шаг, который касается уже прямого выполнения задач. Именно от него будет зависеть, насколько корректно пройдет A/B-тестирование. «Дизайн» — это общее понятие, однако речь может идти о технических моментах — расположение кнопок, управляющих элементов. Или же о цветах. Или о текстах. А иногда обо всем сразу. Перед внесением изменений нужно ответить на такие вопросы:
- тестирует ли A/B-проверка имеющихся пользователей, только новых, тех и других, определенный сегмент;
- способ, по которому клиенты разбиваются на группы — по месту проживания, по возрасту, по полу и т.д.;
- количество тестируемых — иногда это небольшая выборка в двадцать-тридцать человек, а иногда десятки и сотни тысяч;
- как долго будет идти тестирование одной гипотезы;
- уровень значимости — статистический показатель (он стандартный, 90-95%).
Иногда с объемом выборки определиться непросто. Фокус-группы крупных компаний порой всего двадцать-тридцать человек. Обычно отталкиваются от желаемых изменений. В случае веб-кампаний можно делать довольно большие объемы выборки, ведь вам не придется специально приглашать людей, заключать с ними какие-либо контракты. Просто перенаправляете часть трафика на альтернативный вариант. Это может быть 10%, 20% или все 50% как в классическом A/B-примере.
Шаг пятый: сам эксперимент
Просто запускаете и ждете. Ничего больше делать не надо, просто поддерживать рабочее состояние проекта. Вмешиваться не следует, даже если вам показалось, что конверсия, например, на проверочном B-лендинге возросла сразу же в десять раз — это не повод прерывать эксперимент и «все менять». Результативная статистика сформируется не так быстро. В этом тестировании важно отслеживание долгосрочных показателей.
Шаг шестой: анализ результатов
Для анализа используют статистические методы, которые помогают сравнить показатели. Вы поймете, есть ли эффект от изменений, нет ли случайной флуктуации. Именно поэтому было важно на предыдущем шаге выдержать определенный период, чтобы случайно не «задеть» пиковый момент либо, напротив, спад активности пользователей.
Ошибка в A/B-тестировании возникает, если результат есть, но его не замечают или наоборот — реальных изменений есть, но кратковременные показатели повышаются (или падают). Поэтому важно соблюсти все шесть шагов. А потом уже принимать решение по внесению изменений в A-версию.