1. Когда A / B-тестирование вашего сайта - плохая идея? A / B-тестирование является ценным инструментом...
2. Недостаток в тестировании сайта A / B
3. Применение контекстного тестирования
4. Элементы сайта, которые стоит протестировать
5. Как тестирование влияет на доход
6. Всегда следуйте данным

Когда A / B-тестирование вашего сайта - плохая идея?

A / B-тестирование является ценным инструментом для маркетологов и исследователей, стремящихся улучшить цифровые свойства уже более десяти лет. Сегодня издатели используют новые технологии тестирования для проведения A / B-тестов во всем, от макетов сайтов до изображений брендов. Я готов поспорить, что сейчас на сайтах по всему миру проводится больше A / B-тестов, чем когда-либо прежде.

К сожалению, A / B-тестирование часто используется в качестве золотого стандарта для принятия решений в тех случаях, когда оно является своего рода тупым инструментом. Как решения, основанные на данных, могут быть чем-то иным, кроме хорошего, Тайлер? Это отличный вопрос. Ответ в том, что вы никогда не ошибетесь, следуя данным; однако легко быть введенным в заблуждение тем, что мы считаем интуитивно правильным решением.

Ниже я выделю некоторые из распространенных способов неправильного использования A / B-тестирования и выделю модель, которая может использоваться более эффективно.

Когда тестирование работает

При правильном выполнении любой тест с достаточным количеством данных должен позволять вам принимать объективные решения, которые в конечном итоге приведут ваш веб-сайт к конечной цели; будь то улучшенный UX, увеличенный доход больше заполнений или что-то еще. Проблема, которую многие издатели обнаруживают в отношении A / B-тестирования, в частности, заключается в том, что его невозможно масштабировать.

За последние 5 лет поведение пользователей начало беспрецедентный сдвиг. Из-за более широкого использования мобильных устройств и улучшенных возможностей подключения поведение пользователей уже не так предсказуемо, как раньше. Хотя есть много переменных, которые нужно измерить, исследователи данных узнали, что следующие условия для посетителей оказывают наибольшее влияние на то, как пользователь реагирует на различные элементы веб-сайта…

• тип / скорость интернет-соединения
• географическое положение
• тип устройства
• время суток
• направление источника

Одна из вещей, которую наш исследовательский коллектив узнал, просматривая эти точки данных для тысяч издателей, состоит в том, что эти переменные часто влияют и изменяют предпочтения пользователей на одном и том же сайте. В одном сценарии посетитель может предпочесть комбинацию D и предпочесть комбинацию A в другом.

Это означает, что в понедельник в 7 утра пользователь, пришедший из Facebook с мобильного телефона, подключенного к Wi-Fi, может предпочесть меню в гамбургерном стиле без рекламы над сгибом. Тот же самый пользователь может вернуться в пятницу в 8 часов вечера на планшетном устройстве из поиска Google и предпочесть другой стиль меню и совершенно другой режим рекламы.

Это роль контекста в тестировании. Намерение пользователя и поведение пользователя имеют гораздо больше общего с индивидуальными предпочтениями, которые мы, возможно, осознали. Сбор достаточного количества данных жизненно важен, но контекстуализация является действенным способом, который может быть более важным.

Недостаток в тестировании сайта A / B

Это выявляет фундаментальный недостаток в тестировании веб-сайта A / B. Если A / B-тест показывает, что 64% ​​посетителей предпочитают A, и только 36% посетителей предпочитают B, тогда A - явный победитель, верно?

Что происходит со всеми посетителями, которые предпочитают B? Что, если тест рассматривал меню гамбургера или горизонтальное всплывающее меню? Мы уже видели в нашем примере выше, что контекст мог видеть, что один и тот же пользователь голосовал за A и B.

Именно здесь традиционное применение A / B-тестирования начинает становиться медленным и немного мутным. Вы можете провести эксперимент, выбрать победителя с мажоритарной переменной и применить его в надежде на улучшение показателей цели. Недостатком этого подхода является то, что вы никогда не узнаете, как посетители B-стороны отреагируют на это изменение; вы также не сможете учитывать изменения в поведении пользователя или в его контексте.

Применение контекстного тестирования

Как видно из вышесказанного, данные, по-видимому, защищают контекстное тестирование и доставку. Если посетители должны быть измерены по профилям. Те же самые критерии, приведенные выше, должны использоваться для объединения пользователей в группы, чтобы увидеть, как каждый из них реагирует на различные переменные изменения.

Хотя в этих типах сегментации всегда должна быть контрольная группа, процесс тестирования всегда следует разделять, чтобы увидеть, как все типы посетителей реагируют на переменные изменения.

Реализация должна применять методологию того же типа. Посетители, которые предпочитают A, должны получить A, а посетители, которые предпочитают B, должны получить B. Недостаточно данных об отдельных пользователях, чтобы сделать это для каждого посетителя; тем не менее, вы можете легко использовать эти категории для реализации их по сегментам / сегментам.

• географическое положение
• UTM источник
• время суток
• тип устройства
• ср. скорость загрузки страницы пользователя

Чтобы сделать это, веб-мастеру нужно будет ...

1. прокси контрольная страница
2. выберите варианты страниц, на которые вы хотите разделить трафик
3. измерять результаты для каждого сегмента
4. доставлять результаты через прокси-страницу только в те сегменты, в которых переменные были явными победителями

Там у вас есть это. Это лучший способ сделать A / B-тестирование. Это все еще не так хорошо, как верное многомерное тестирование , но это гораздо более эффективный и современный подход к тестированию веб-сайта.

Элементы сайта, которые стоит протестировать

Следующий вопрос, который возникает после этого откровения: что на самом деле должно быть проверено? Это было то, что я немного углубился в обсуждение способы, которыми веб-сайт может снизить показатель отказов , Наша команда по изучению данных изучила несколько основных элементов, связанных с тем, что наиболее явно влияет на цифровой доход и пользовательский опыт ,

Элементы веб-сайта, которые стоит протестировать, - это те вещи, которые оказывают наибольшее влияние на показатели взаимодействия с пользователем (показатель отказов, время на сайте и количество просмотров страниц за посещение). Эти вещи оказывают статистически и научно доказанное влияние как на доход, так и на другие популярные показатели конверсии. Эти основные веб-элементы включают ...

• расположение меню
• фоновый цвет
• размер и цвет текста
• другие навигационные элементы
• места размещения рекламы
• макеты
• расположение изображений

Эти элементы, которые мы видели, оказывают наибольшее влияние на эти основные показатели пользовательского опыта с течением времени. Имейте в виду, что они должны быть проверены на всех устройствах.

Как тестирование влияет на доход

Это то, что мы глубоко изучили ранее, но тестирование может четко улучшить такие вещи, как показатели опыта , И, возможно, это лучшее использование вашего времени при тестировании; метрики UX имеют прямую связь практически с любой целью конечного тестирования. Это включает в себя большинство форм цифрового дохода.

Оптимизируя свой сайт для каждого посетителя, вы можете эффективно влиять на продолжительность пользовательского сеанса на неопределенный срок; повышение доходов и предоставление пользователям лучшего опыта на вашем сайте.

Вот где я, в конечном счете, верю, что искусственный интеллект сможет помочь и помочь цифровым издателям сейчас и в будущем. Возможность сбора, измерения и распространения всех этих данных для каждого посетителя занимает очень много времени; и, возможно, невозможно в полной мере. Разгрузка этого процесса на машине позволила бы нам принимать более сложные решения со всей этой существующей информацией.

Выше вы можете увидеть короткий клип моего хорошего друга, доктора Грега Старека, объясняющий, куда это может нас в конечном итоге привести.

Всегда следуйте данным

В конечном счете, данные и правильное тестирование всегда приведут нас в правильном направлении. Сложной задачей является проведение достаточного количества тестов и контекстуализация данных таким образом, чтобы мы не были введены в заблуждение.

Вопросы, мысли, опровержения? Продолжайте разговор ниже.

Похожие

Комментарии