Новое в интернетеПродвижениеПродвижение сайтов и A/B тестирование

A/B тестирование сайтов

A/Bтестирование является интересным процессом, тем более в настоящее время предлагается большое количество разнообразных инструментов, и провести тест можно без особых усилий.

Однако некоторые компании не до конца понимают, как необходимо проводить тест, а других не устраивает первоначальный результат и они не хотят снова связываться с этим, кто-то же не знает, что следует делать дальше. Зачастую причиной таких действий являются неправильные решения до проведения теста, во время и после него.

11 ошибок и как их можно избежать

1. Не запускание тестов на полные недели.

К примеру, на сайте хороший трафик от продвижения сайта, результаты за 3 дня – 98% статической значимости и 250 конверсий. На этом тест не заканчивается.

Если тест начинается в понедельник, то и заканчиваться он должен тоже в понедельник, так как колебания конверсии могут зависеть от дня недели. Из-за того, что эксперимент будет длиться не полную неделю, а несколько дней, результаты могут быть недостоверными.

Согласно отчетам по конверсиям в Google Analytics колебания в разные дни недели могут быть высокими.

Например, в четверг конверсий было в 2 раза больше, чем в субботу и в воскресенье, и в четверг показатель конверсии почти в 2 раза больше, чем в субботу.

Если эксперимент не будет проводиться в течение полной недели, то его результаты будут некорректными.

Чтобы избежать этой ошибки необходимо запускать тесты минимум на неделю. Если не удалось достигнуть результата за первые 7 дней, то следует продлить тест настолько же. Сделать исключение можно лишь в том случае, если конверсия по данным одинакова.

Также стоит обращать внимание на внешние факторы, к примеру, на праздники и сезонность, они всегда оказывают влияние на результаты эксперимента.

Тест, который проводится в Рождество, может не показать такие значительные результаты после праздников. Если эксперимент запускается в период большого спроса, то он должен быть обязательно повторен по его завершению. Недостоверные результаты можно получить и при проведении масштабной рекламной компании.

2. Маленькая длительность теста.

При условии довольно большой выборки статистическая значимость дает понять, что A версия лучше B версии. Ошибочно останавливать тест, когда статистическая значимость составляет 50%, в данном случае теряется смысл эксперимента.

Зачастую компании проводят на протяжении года тесты, и по их результатам они выкатывают нововведения, однако конверсия остается неизменной.

Это происходит из-за слишком раннего прекращения теста или недостаточно большой выборки. Не стоит останавливать тест, не достигнув статистической значимости равной 95% и выше. Такой показатель говорит о наличии лишь 5% на то, что результаты являются чистой случайностью.

Нужно всегда остерегаться A/B тестов, заканчивающихся очень быстро и всегда перепроверять данные. Основываясь на неточных данных можно потерять деньги и время.

Не следует опираться на малое количество данных. Для каждого тестируемого варианта, прежде чем сделать выводы, необходимо собрать минимум 100 конверсий, при большом трафике – 250.

Наличие 100 или 250 конверсий и при этом статистической значимости менее 95% обозначает, что между вариантами нет значительной разницы. В данном случае необходимо проверить результаты теста, продумать еще раз гипотезу и запустить новый тест.

Эксперимент можно прекратить раньше времени в том случае, когда конверсия имеет высокий показатель и между вариантами есть существенная разница.

3. Тесты не всегда основываются на гипотезе.

Идеи для эксперимента основываются на гипотезе. Гипотезой является положение, которое выдвигается в качестве условного, предварительного объяснения какого-то явления или же группы явлений, предположение о наличии некоторого явления.

Зачастую компания выбирает в качестве идеи для проводимого теста первое, что приходит им в голову. Такие случайные идеи затрачивают время и трафик.

Нужно провести анализ и выяснить, какие могут быть проблемы и где, провести исследование, отыскать причину проблем и выстраивать в это время гипотезу для решения.

Никакой информации не даст, если, к примеру, будет тестироваться A версия против B версии без четкой гипотезы, и B версия окажется на 15% лучше.

4. Проведение сплит-тестирования при отсутствии трафика и конверсий.

Не следует пользоваться A/B тестированием при малом трафике. Даже если B версия окажется намного лучше, то для того чтобы получить видимые результаты нужно много времени.

Нужно просто перейти без тестирования на версию B, запустить ее и смотреть результаты. Идея состоит в получении большого подъема в 50-100%.

5. Трата времени и трафика на бессмысленные эксперименты.

Не стоит тратить трафик и время на бессмысленные эксперименты, к примеру, на тестирование цвета, потому что у кого-то такое сработало. Лучше тестировать гипотезы, которые основываются на реальных данных.

6. Не отгружаются данные в Google Analytics.

Не стоит забывать, что усредненные цифры всегда обманывают. Если версия A лучше на 10% версии B, то это не дает полного представления. Для того чтобы отыскать важную информацию, нужно тестовые данные сегментировать в Google Analytics.

В инструменте Optimizely тоже имеется встроенная сегментация, однако функционал здесь скромнее, чем в Google Analytics. С помощью Visual Website Optimizer можно настроить автоматическую выгрузку в Google Analytics, и она будет выполняться для каждого проводимого теста.

7. Не понимаются ошибки первого рода.

Помимо статистической значимости также следует обращать внимание и на ошибки первого рода. Тестеры, проявляя нетерпеливость, пропустят A/B тестирование и перейдут к A/B/C/D/E/F/G/H.

Не очень хорошей идей будет, если, к примеру, Google протестирует 42 оттенка синего цвета. Чем больше вариантов будет протестировано, тем более высокой будет вероятность ошибки первого рода. Даже если статистическая значимость будет равняться 95%, в случае 42 оттенков синего, шанс получить ошибку первого рода составляет 88%.

Не следует тестировать за один раз много вариантов. Получить быстрые результаты, сделать выводы и улучшить гипотезу можно выполнив A/B тестирование.

8. Перестать тестировать после первой провальной попытки.

Многие первые тесты оказываются провальными. Если тест не получился, то нужно повторить его, а не переходить на тестирование другой страницы. Следует тут же запустить еще один тест, сделать выводы и улучшить гипотезу. Далее запустить еще один тест и так далее.

Компании должны проводить с одной страницы несколько тестов подряд, пока полученный результат не удовлетворит их.

Не стоит думать, что первый же тест превзойдет ожидания, средства будут потрачены впустую и возможно кто-то потеряет работу.

9. Проводить одновременно несколько тестов с наложениями трафика.

Для экономии времени некоторые решают запускать на своих ecommerce сайтах сразу несколько тестов: один на странице корзины, другой – на главной странице, еще один на странице товара и так далее. Это ошибочно, так как тем самым искажаются результаты.

Для тестирования новой версии одновременно нескольких страниц, к примеру, страницы товара, главной и чекаута необходимо пользоваться многостраничными экспериментами, которые созданы специально для таких случаев. Функционал позволяет видеть или новые версии для страниц или старые варианты, но при этом не чередовать их.

10. Игнорировать небольшие достижения.

Многие считают, что если тестовый вариант по результатам эксперимента позволяет повысить на 4% текущие показатели, то это небольшая выгода и не внедряют обновление.

Однако если сайт хороший, то существенных результатов не будет все время, они случаются достаточно редко. Если сайт средненький, то большинство тестов позволит улучшать каждый раз на 50%, однако когда-нибудь это закончится.

Многие успешные тесты получают маленькие результаты 1%, 4%, 8% и иногда даже улучшение на 1% может стать результатом миллионных доходов. Все зависит от полученных цифр.

Следует смотреть на все с годовой перспективы. Проведение одного теста не является показателем, их будет много. Если конверсия каждый месяц будет увеличиваться на 5%, то через год ее первоначальный показатель увеличиться уже на 80%.

Вот почему следует обращать внимания на незначительные победы, ведь в результате получается больше.

11. Не проведение тестов на постоянной основе.

Тестирование дает новые знания об аудитории, о том, что работает на сайте, а что нет. Это может пригодиться в контексте, маркетинге и так далее. Один день, в который не проводилось тестирование, будет потрачен впустую. Для тестов необходим трафик и время.

Однако это не говорит о том, что следует запускать все, даже плохие тесты. Необходимо тщательное исследование, гипотеза и так далее.

Веб-аналитик  добавляет  к перечисленным ошибкам несколько базовых, от которых по ее мнению зависит вероятность получения результатов.

  • Первой ошибкой Чернецова называет неправильно поставленную задачу, когда заказчик и исполнитель не понимают для чего проводить тестирование. Каждое тестирование, по словам веб-аналитика, должно быть основано на маркетинге. Под этим она имеет в виду точную формулировку бизнес-задач. Нет смысла в улучшениях ради улучшений.
  • Второй ошибкой Чернецова считает отсутствие систематичности – проведение исследований от случая к случаю.
  • К третьей ошибке она относит отсутствие конверсии знаний в определенные действия. В этом случае заказчик, получив анализ, не выполняет рекомендации или выполняет их не полностью.
  • Четвертой ошибкой веб-аналитик называет тестирование сразу нескольких элементов. Это мешает узнать, какое изменение подействовало на конверсию.

По словам Натальи Чернецовой, существует много инструментов для тестирования, однако мало специалистов, способных провести его и обработать данные.

Почему продвижение лучше всего доверить нам?
Начните работать с нами, нам доверяют
Гарантия продвижения сайтов в поисковых системах
Надежность сотрудничества с аАкцент
Выгода и отсутствие скрытых платежей
Финансовая гарантия скорости роста позиций
Комплексный подход к продвижению
Наше интернет-агентство «аАкцент» занимается комплексным маркетингом в Казани уже с 2006 года, за нашими плечами более 400 успешных проектов из более чем 50-и различных отраслей.
Все услуги