Ав тестирование. Подготовка контрольных данных. Как и зачем тестировать разные варианты страниц

Как известно, в бизнесе не бывает статичных состояний. Предприятие должно постоянно развиваться, чтобы соответствовать текущей рыночной ситуации, потребностям клиентов и собственников. Остановив развитие, проект в ту же секунду начинает деградировать. Например, нельзя создать интернет-магазин, добавить на сайт 200 товаров и ежемесячно получать прибыль в сумме 100 тыс. рублей. Чтобы прибыльность проекта хотя бы не падала, предпринимателю необходимо постоянно расширять ассортимент, увеличивать охват аудитории с помощью рекламы и публикации полезного контента, улучшать поведенческие метрики сайта и коэффициент конверсии.

Одним из инструментов развития веб-проектов является A/B-тестирование. Этот метод позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики. Из этой статьи вы узнаете, как правильно проводить A/B-тестирование.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing - раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию . Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование - это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин . Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование - это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

• Текст и внешний вид конверсионных кнопок, а также их расположение.
• Заголовок и описание продукта.
• Размеры, внешний вид и расположение конверсионных форм.
• Макет и дизайн страницы.
• Цену товара и другие элементы бизнес-предложения.
• Изображения товаров и другие иллюстрации.
• Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных сервисов. Наиболее востребованным из них является Content Experiments компании Google, доступный пользователям системы Analytics. До середины 2012 года этот инструмент назывался Google Website Optimizer. С его помощью можно протестировать различные элементы страницы, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.п. Сервис Content Experiments остается бесплатным, что относится к его основным преимуществам. К его недостаткам относится необходимость работы с HTML-кодом.

Также вы можете использовать для проведения сплит-тестирования следующие российские и иностранные инструменты:

• Optimizely - наиболее популярный в буржунете платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США в зависимости от типа подписки. К преимуществам данного сервиса относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
• ABTest.ru - русскоязычный сервис, функциональность которого повторяет Optimizely. ABTest работает в режиме бета-тестирования, плата за проведение экспериментов не взимается.
• RealRoi.ru - еще один отечественный сервис, который позволяет проводить А/Б-тестирование. Среди главных плюсов можно выделить то, что он бесплатен и очень прост в использовании. О том, как он работает, можно подробно посмотреть на следующем видео:

Выберите один видеоролик, но часто заикается Видео имеет низкое качество Видео не воспроизводится Другое. Если бы цена была настолько простой. Бег случайных экспериментов - это рецепт для гневных клиентов и точного сбора данных. Твердые стратегии ценообразования не основаны на основе угадывания и проверки.

Вы не найдете лучшей цены для своего продукта, немного лучше, чем раньше. Когда страница, столь же чувствительная, как ваша ценовая страница, изменяется на основе догадок, вы «будете раздражать ад из своих клиентов». Чтобы достичь фактической статистической значимости - чтобы получить результаты, вы можете заключить, что они влияют на конверсии - вам нужен огромный размер выборки. Требуемый размер выборки моделируется следующим уравнением. Где δ - минимальное изменение коэффициента конверсии, которое вы хотите определить, а σ2 - дисперсия выборки вашего текущего коэффициента конверсии.

• Visual Website Optimizer - платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость подписки составляет от 49 до 249 долларов.
• Unbounce - сервис, предназначенный для создания и оптимизации лэндингов. В том числе, он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 50 до 500 долларов в месяц. Отечественный аналог - LPGenerator. Этот сервис позволяет тестировать только созданные с его помощью страницы.

Как провести A/B-тестирование с помощью Content Experiments

Сервис «Эксперименты» Google Analytics позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, маркетологи могут выполнять A/B/N-тестирования, отличающиеся от стандартных A/B-экспериментов возможностью следить за эффективностью нескольких новых страниц, каждая из которых может иметь несколько новых элементов.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Специалист может получать данные о результатах тестирования на электронную почту.

Чтобы провести сплит-тестирование с помощью Content Experiments, выполняйте следующие действия:

1. Войдите в аккаунт Google Analytics, выберите сайт, эффективность которого необходимо проверить. После этого выберите меню «Поведение - эксперименты».

1. Введите в соответствующую форму URL страницы, которую вы будете тестировать, и нажмите кнопку «Начать эксперимент».

1. Выберите название и цель тестирования. Определите процент трафика, участвующий в эксперименте. Решите, хотите ли вы получать оповещения о ходе тестирования на электронную почту. Нажмите кнопку «Далее» после выбора необходимых параметров.

1. Выберите варианты страницы, участвующие в тестировании. Добавьте их в соответствующие формы и нажмите «Далее».

1. Создайте код эксперимента. Если вы не знаете, как вставить его на страницу, выберите вариант «Отправить код веб-мастеру». Если вас не бросает в пот при упоминании HTML-кода, выберите вариант «Вставить код вручную».

Выбирайте «Вставить код вручную», если умеете обращаться с HTML-кодом

1. Скопируйте отмеченный на предыдущей иллюстрации код и вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега . После выполнения этого действия нажмите кнопку «Сохранить изменения».

1. Проверьте наличие кода тестирования на контрольной странице и нажмите кнопку «Начать эксперимент». Обратите внимание, код необходимо добавить только на контрольную страницу.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью сплит-тестирования

Выше неоднократно отмечалось, что A/B-тестирование помогает увеличить эффективность веб-страниц. Чтобы этот маркетинговый метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон страницы с голубого на салатовый.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

• Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
• Добавьте на конверсионную страницу слова «бесплатно» или free. Конечно, аудитория знает, что подписка на рассылку является бесплатной. Но иногда слово free творит настоящие чудеса, ведь дармовой уксус сладок.
• Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
• Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
• Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
• Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

Сплит-тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. Оба варианта должны иметь разные URL. После этого следует воспользоваться одним из сервисов для проведения сплит-тестов, например, Content Experiments. Оценку результатов тестирования можно проводить как минимум через две недели после запуска эксперимента.

Как вы считаете, стоит ли проводить A/B-тесты? В каких случаях этот маркетинговый метод остается бесполезной тратой времени?

A/B тестирование, также известное под названием «сплит-тестирование», является одним из наиболее эффективных способов измерить и оптимизировать (при этом научным образом) эффективность вашего присутствия в Интернете. Данное тестирование берет две версии определенного материала, например, это может быть целевая страница, затем одновременно запускает их перед одинаковыми по размеру аудиториями и сравнивает, какая из версия функционирует успешней. A/B тестирование настолько популярно и вызывает доверие у маркетологов благодаря тому, что при его выполнении должным образом, вы получаете точную информацию о том, какие изменения нужно внести, чтобы ваша компания стала успешней, а не просто предположения, основанные на догадках.

Вопросы о том, как провести A/B тестирование должным образом можно в изобилии обнаружить в Сети. Поэтому, чтобы помочь вам и всем тем, кто пытается запустить свое A/B тестирование, я поискал самые часто задаваемые вопросы и теперь готов выложить их, снабдив ответами. Итак, ЧАВО по A/B тестированию… Поехали!

1 Когда нужно использовать A/B тестирование?

Чаще всего A/B тестирование проваливается из-за нечеткости поставленных целей, так что вы и не знаете, что собираетесь тестировать. Вы можете использовать A/B тестирование для проверки, к примеру, теории, приведет ли к увеличению посещаемости целевой страницы добавление изображения на нее? Люди больше расположены нажимать на синюю кнопку или красную? Что произойдет, если изменить заголовок, чтобы подчеркнуть временный характер предложения? Все вышеперечисленные изменения легко описать количественно. У людей возникают проблемы с A/B тестированием в том случае, когда поставленная ими цель слишком расплывчата: например, если они хотят сравнить два совершенно разных дизайна с различными вариантами. Хотя это и можно сделать, но если явного победителя не выявится, то можно ошибиться или неверно истолковать причину повышения числа переходов.

2 Какое оптимальное количество вариантов должно быть в A/B тестировании?

Предположим, у вашей команды маркетологов прошел мозговой штурм, в ходе которого были придуманы четыре классных идеи дизайна целевой страницы. Можно попытаться запустить тестирование всех четырех, чтобы определить победителя, но мы столкнемся с той же ситуацией, что была описана выше - если присутствует больше двух вариантов, то это нельзя назвать настоящим A/B тестированием. Ряд особенностей каждого дизайна может повлиять на чистоту тестирования. Мутить воду, так сказать. Красота A/B тестирования заключается в том, что его результаты просты и конкретны. Я бы рекомендовал запускать не больше двух версий, потом вторую пару, а после сравнить победителей. Представьте, что тест - это игра на выбывание.

3 Что такое нулевая гипотеза?

Нулевая гипотеза гласит, что любое расхождение в результатах является результатом ошибки выборки или стандартной вариации. Подумаем об этом на примере монетки. Хотя в теории шанс выпадения орла или решки равняется 50\50, но на практике иногда вероятность составляет 51\49 или нечто другое в зависимости от шанса. Однако, чем больше раз вы подкинете монету, тем ближе вы подойдете к вероятности 50\50. В статистике, способ с помощью которого вы пытаетесь доказать верность или неверность теории называется оспариванием нулевой гипотезы. Оно заключается в том, что эксперимент проводится достаточно долго для того, чтобы исключить случайный результат. Эта концепция также носит название достижения статистической значимости.

4 Сколько нужно просмотров страницы, чтобы результат A/B тестирования был достоверен?

Перед тем, как вы сможете обработать результаты A/B тестирования, следует убедиться, что тестирование достигло статистической значимости. Эта точка, при которой вы получите процент уверенности в результате 95 или выше.
Хорошей новостью для вас будет то, что у многих тестировочных инструментов показатели статистической значимости уже встроены, так что вам сразу же сообщат, когда тестирование будет готово для интерпретации. Если же встроенная функция отсутствует - не расстраивайтесь, есть множество бесплатных калькуляторов и программ, рассчитывающих статистическую значимость. Вот тут есть ссылка на HubSpot , а также вы можете просмотреть блог «Бритва Оккама» для получения более подробного шаблона из Excel.

5 Что такое мультивариантное тестирование и каковы его отличия от A/B тестирования?

А/B тестирование обычно используется при редизайне для того, чтобы проверить эффективность конкретного изменения или теории на соответствие поставленной цели (например, привлечение количества операций). Мультивариантное тестирование рассчитано на то, что его будут использовать для проверки малых изменений на протяжение долгого периода времени. Оно работает с несколькими элементами вашего сайта и тестирует все возможные комбинации этих элементов с целью своевременной оптимизации. А/B тестирование - отличный метод, когда значимый результат необходим вам быстро. Благодаря тому, что отличия между страницами настолько ярки, становится гораздо проще сказать, какая из них будет эффективней. Этот метод также будет хорош, если через ваш сайт не проходят гигабайты трафика. Из-за того, что несколько вариантов тестируются с помощью мультивариантного тестирования, то чтобы получить значимые результаты, вам нужен сайт с большим трафиком.

Если у вас достаточно трафика для того, чтобы успешно провести мультивариантное тестирование, (хотя вы можете провести и A/B тестирование, если хотите проверить абсолютно новый дизайн или макет) то можете смело его использовать, если планируете внести минимальные изменения в страницу и понять, как определенные элементы взаимодействуют один с другим и какое воздействие они оказывают на уже существующий дизайн.

6 Существует ли негативное влияние A/B тестирования на SEO?

Существует миф о том, что A/B тестирование негативно влияет на рейтинг в поисковых системах, поскольку его проведение может быть классифицировано как дублированный контент, чего поисковые системы очень не любят. Однако этот миф не имеет под собой никаких оснований. На самом деле, даже Мэтт Катт из Google советует проводить A/B тестирование для того, чтобы увеличить функциональность вашего сайта. На сайте Website Optimizer вы можете найти , посвященную этому мифу с доказательствами того, что он неверен. Если же вы все еще беспокоитесь, то можете добавить тег «no index» в изменениях страницы. Подробные инструкции о том, как использовать тег можно найти .

7 Как и когда я могу интерпретировать результаты сплит-тестирования?

Тестирование начинается. Начинают накапливаться первые результаты. И вы уже рветесь проверить, какой же из вариантов эффективнее. Но ранние этапы тестирования - не самое лучшее время для того, чтобы начинать интерпретировать результаты. Подождите того момента, когда тестирование достигнет статистической значимости (смотрите вопрос №4) и затем вернитесь к исходной гипотезе. Тест окончательно подтвердил ее или опроверг? Если да, то можете начинать делать выводы. При анализе теста, старайтесь остаться беспристрастны, соотнося полученные результаты с конкретными изменениями. Убедитесь, что существуют четкие связи между внесенными изменениями и результатом, а также, что на него не повлияли никакие сторонние силы.

8 Сколько элементов мне стоит тестировать?

Хотите, чтобы ваше A/B тестирование было убедительным? Тратьте на него время, чтобы получить четкий и действенный ответ! Проблема с тестированием нескольких изменяющихся элементов заключается в том, что вы не в состоянии определить, какой из них вызвал изменения. Таким образом, хотя вы и можете увидеть, что одна страница функционирует лучше, чем другая, но при наличии трех или четырех изменившихся элементов вы не можете быть уверены, не наносит ли один из них ущерб странице, а также не можете воспроизвести удачные элементы на других страницах. Каков мой совет? Проведите серию тестов с каждым элементом по методу перебора и сможете узнать, какой из них окажется наиболее эффективным.

9 Что мне тестировать?

Что вы захотите протестировать - зависит только от вас, но я бы порекомендовал начать с нескольких «краеугольных камней» вашей страницы.

10 Можно ли проводить A/B тестирование чего-либо кроме веб-страниц?

Да! Кроме тестирования целевых страниц и веб-страниц, многие маркетологи проводят A/B тестирование e-mail писем, PPC (оплата за клик) кампаний и призывов к действию.

• E-mail: Тестирование переменных для E-mail включает в себя тестирование темы письма, функций персонализации, имени отправителя и многого другого.
• PPC: В случае платных поисков или кампаний вы можете провести A/B тестирование заголовка, основного текста ссылки или ключевых слов.
• Призывы к действию: В этом случае, вы можете попробовать варьировать текст, его форму, цвет или расположение на странице.

11 Как мне найти A/B тестирование для компаний, аналогичных моей?

Существует ряд сайтов, которые предоставляют примеры и результаты совокупных A/B тестирований. Некоторые из них позволяют выполнить поиск по типу компании, и большинство из них предоставляют подробную информацию о том, как компания интерпретировала результаты теста. Если вы только начинаете, то неплохо будет прочитать некоторые из этих сайтов на предмет получения идей того, как протестировать вашу собственную компанию.

• Which Test Won : сайт Анны Голланд. Здесь есть ряд примеров, а также несколько ежегодных конкурсов, для которых вы можете предложить собственные варианты тестирований.
• Visual Website Optimizer: это сайт разработчика ПО для A/B тестирования и в своих блогах тот предлагает ознакомиться с рядом примеров, на которых вы можете поучиться.
• ABTests.com : Этот сайт больше не обновляется, однако на нем есть хороший архив тестов и шаблонов, а также ссылки на исходники тестов. Сайт был основан UX директором компании HubSpot Джошем Портером, который помимо этого дает дельные советы по проведению A/B тестирования в своем блоге, расположенном по адресу bokardo.com .

12 Что делать, если я не доверяю результатам?

Если вы действительно не доверяете результатам и при этом исключили любые ошибки и проблемы при проведении теста, то лучшее, что вы можете сделать - это провести его еще раз. Отнеситесь к нему, как к совершенно отдельному тесту и посмотрите, получится ли воспроизвести результаты, полученные ранее. Если воспроизведение удается снова и снова, значит результату определенно можно доверять.

13 Как часто мне следует проводить A/B тестирование?

Это зависит от перспектив. Хорошей идеей будет проводить тестирование постоянно для итерации вашего сайта. Только убедитесь в том, что у вашего теста есть четкая цель, которая приведет к увеличению функциональности сайта как для посетителей, так и для компании. Если же вы проводите тесты, результатом которых являются минимальные изменения или выигрыши, тогда вам стоит пересмотреть свои стратегию тестирования.

14 Что мне нужно, чтобы начать A/B тестирование на своем сайте?

Лучшим способом запустить A / B тестирование будет использование программы, разработанной для этого — например от HubSpot , Unbounce или Visual Website Optimizer . Если вас не смущает копание в коде, то Google предлагает бесплатный инструмент под названием Эксперименты в составе Google Analytics. Он немного отличается от стандартного A / B тестирования, но если вы технически продвинуты, то вы можете его попробовать.

15 Помимо размера выборки, каких еще ошибок мне опасаться?

MECLABS в прошлом году провела большое исследование, посвященное опасностям помимо размера выборки, которые могут повлиять на валидность теста. Я приведу пару типичных ошибок из него:

• Эффект истории: Что-то произошедшее во внешнем мире негативно повлияло на результаты вашего тестирования.
• Эффект инструмента: ошибка в тестировочном ПО исказила результаты тестирования.

16 Следует ли мне тестировать главную страницу сайта?

Хотя я и не стал бы полностью исключать A/B тестирование главной страницы, я, тем не менее, скажу, что добиться убедительных результатов от этого тестирования будет сложно. Через эту страницу проходит случайное количество трафика, приходящего от случайных посетителей, потенциальных клиентов и покупателей. На главной странице, как правило, располагается куча материалов, так что сложно будет уместить в один тест все, что необходимо для определения того, что движет покупателем. Наконец, из-за разнообразия людей, посещающих вашу страницу, сложно будет определить цель, с которой они ее посещают. Вы можете предположить, что ваша цель заключается в проверке преобразования типа потенциальный клиент - покупатель. Однако, если в ходе испытаний выбранная вами выборка будет посещаться в основном действующими, а не потенциальными клиентами, то цель изменится. Если вы хотите протестировать главную страницу, подумайте о возможности тестирования призывов к действию.

17 Что, если у меня нет контрольной версии?

Контрольная версия — это существующая версия целевой страницы или веб-страницы, относительно которой вы проводите тестирование. Иногда вам может понадобиться протестировать две версии страницы, которая никогда прежде не существовала… что ж, окей. Просто выберите один из вариантов и назовите его контрольным. Попробуйте выбрать тот, который больше всего отвечает нынешнему дизайну страниц, а остальные используйте в качестве материала для тестирования.

18 Почему сплит проходит не точно 50\50?

Иногда во время A/B тестирования вы можете заметить, что количество трафика на каждой из переменных не идентично. Это не значит, что с тестом что-то не то, просто случайные выборки работают… случайно. Вспомните про подкидывание монеты. Шанс, что выпадет орел или решка - 50\50, но иногда выпадают три решки подряд. Чем больше трафика пройдет через ваш сайт - тем ближе цифры станут к соотношению 50\50.

19 Когда моя версия выигрывает A/B тестирование, могу ли я ткнуть коллегам результатами в лицо?

Знаю, заманчиво, тем более, что они были так уверены, что добавление анимированных GIF приведет к увеличению числа действий. Но давайте действовать профессионально. Представьте результаты, постройте план продвижение вашего убер-дизайна, а потом, когда никто не увидит… станцуйте победный танец:

Фух, это начало ЧАВО по A/B тестированию. Какие у вас есть вопросы по A/B тестированию, на которые я еще не ответил? Оставьте их ниже, и я постараюсь на них ответить!