Руководство По A/B-Тестированию

Что такое A/B-тестирование?

A/B-тестирование , также известное как сплит-тестирование, представляет собой рандомизированный процесс экспериментирования, при котором две или более версии переменной (веб-страницы, элемента страницы и т. д.) одновременно показываются различным сегментам посетителей веб-сайта, чтобы определить, какая из них версия оказывает максимальное влияние и улучшает бизнес-показатели.

По сути, A/B-тестирование устраняет все догадки при оптимизации веб-сайта и позволяет оптимизаторам принимать решения на основе данных. В A/B-тестировании A относится к «контролю» или исходной переменной тестирования. Тогда как B относится к «вариации» или новой версии исходной переменной тестирования. 

Версия, которая меняет ваши бизнес-показатели в положительном направлении, называется «победителем». Внедрение изменений этого выигрышного варианта на тестируемые страницы/элементы может помочь оптимизировать ваш веб-сайт и повысить рентабельность инвестиций в бизнес. 

Показатели конверсии уникальны для каждого веб-сайта. Например, в случае электронной коммерции это может быть продажа продуктов. Между тем, для B2B это может быть привлечение квалифицированных потенциальных клиентов. 

A/B-тестирование — это один из компонентов комплексного процесса оптимизации коэффициента конверсии (CRO) , с помощью которого вы можете собрать как качественную, так и количественную информацию о пользователях. Вы также можете использовать эти собранные данные, чтобы понять поведение пользователей, уровень вовлеченности, болевые точки и даже удовлетворенность функциями веб-сайта, включая новые функции, обновленные разделы страниц и т. д. Если вы не проводите A/B-тестирование своего веб-сайта , вы наверняка потеряет большую часть потенциальных доходов от бизнеса.

Почему вам стоит рассмотреть возможность A/B-тестирования?

Если сегодня B2B-компании недовольны количеством неквалифицированных потенциальных клиентов, которые они получают в месяц, то магазины электронной коммерции, с другой стороны, борются с высоким уровнем брошенных корзин . Между тем, СМИ и издательства также сталкиваются с низкой вовлеченностью зрителей. На эти основные показатели конверсии влияют некоторые распространенные проблемы, такие как утечки в воронке конверсии, провалы на странице оплаты и т. д.

Давайте разберемся, почему вам следует проводить A/B-тестирование:

1. Решите болевые точки посетителей

Посетители приходят на ваш сайт для достижения конкретной цели, которую они имеют в виду. Это может быть желание узнать больше о вашем продукте или услуге, купить конкретный продукт, прочитать/узнать больше о конкретной теме или просто просмотреть. Какой бы ни была цель посетителя, он может столкнуться с некоторыми общими болями при достижении своей цели. Это может сбивать с толку текст или сложно найти кнопку CTA, например «Купить сейчас», «Запросить демо» и т. д. 

Неспособность достичь своих целей приводит к плохому пользовательскому опыту. Это увеличивает трение и в конечном итоге влияет на ваши показатели конверсии. Используйте данные, собранные с помощью инструментов анализа поведения посетителей, таких как тепловые карты, Google Analytics и опросы веб-сайтов, чтобы решить болевые точки ваших посетителей. Это справедливо для всех видов бизнеса: электронной коммерции, путешествий, SaaS, образования, средств массовой информации и издательского дела.

2. Получите более высокую рентабельность инвестиций в существующий трафик.

Как поняли большинство опытных оптимизаторов, стоимость привлечения качественного трафика на ваш сайт огромна. A/B-тестирование позволяет максимально эффективно использовать существующий трафик и помогает увеличить конверсию без необходимости тратить дополнительные деньги на приобретение нового трафика. A/B-тестирование может дать вам высокую рентабельность инвестиций , поскольку иногда даже мельчайшие изменения на вашем веб-сайте могут привести к значительному увеличению общих бизнес-конверсий.

3. Уменьшите показатель отказов

Одним из наиболее важных показателей, который следует отслеживать для оценки эффективности вашего сайта, является показатель отказов. Высокий показатель отказов вашего веб-сайта может иметь множество причин , например слишком большой выбор вариантов, несоответствие ожиданиям, запутанная навигация, использование слишком большого количества технического жаргона и т. д. 

Поскольку разные веб-сайты служат разным целям и обслуживают разные сегменты аудитории, не существует универсального решения для снижения показателя отказов. Однако проведение A/B-теста может оказаться полезным. С помощью A/B-тестирования вы можете тестировать несколько вариантов элемента вашего веб-сайта, пока не найдете наилучшую версию. Это не только поможет вам найти разногласия и болевые точки посетителей, но и поможет улучшить общее впечатление посетителей вашего сайта, заставляя их проводить больше времени на вашем сайте и даже превращаясь в платящих клиентов.

4. Вносите изменения с низким уровнем риска

Вносите незначительные, постепенные изменения в свою веб-страницу с помощью A/B-тестирования вместо того, чтобы переделывать всю страницу. Это может снизить риск поставить под угрозу текущий коэффициент конверсии. 

A/B-тестирование позволяет нацелить ваши ресурсы на максимальную отдачу с минимальными изменениями, что приведет к увеличению рентабельности инвестиций. Примером этого могут быть изменения описания продукта. Вы можете выполнить A/B-тестирование, если планируете удалить или обновить описания продуктов. Вы не знаете, как ваши посетители отреагируют на изменения. Запустив A/B-тест, вы сможете проанализировать их реакцию и определить, в какую сторону могут наклониться весы. 

Другим примером модификации с низким уровнем риска может быть введение нового изменения функции. Прежде чем представить новую функцию, запустите ее в виде A/B-теста, чтобы понять, понравится ли новое изменение, которое вы предлагаете, аудитории вашего веб-сайта.

Внедрение изменений на вашем веб-сайте без их тестирования может окупиться, а может и не окупиться как в краткосрочной, так и в долгосрочной перспективе. Тестирование и последующее внесение изменений может сделать результат более определенным.

5. Достичь статистически значимых улучшений

Поскольку A/B-тестирование полностью основано на данных и не допускает догадок, интуиции или инстинктов, вы можете быстро определить «победителя» и «проигравшего» на основе статистически значимых улучшений таких показателей, как время, проведенное на странице, количество запросов на демо, процент брошенных корзин, рейтинг кликов и т. д.

6. Измените дизайн веб-сайта, чтобы увеличить будущую прибыль от бизнеса.

Редизайн может варьироваться от незначительной настройки текста призыва к действию или настройки цвета отдельных веб-страниц до полной переработки веб-сайта. Решение о реализации той или иной версии всегда должно приниматься на основе данных при A/B-тестировании. Не прекращайте тестирование после завершения разработки проекта. По мере выхода новой версии тестируйте другие элементы веб-страницы, чтобы убедиться, что посетителям предоставляется наиболее привлекательная версия.

Что вы можете протестировать A/B?

Воронка конверсии вашего сайта определяет судьбу вашего бизнеса. Поэтому каждый фрагмент контента, который достигает вашей целевой аудитории через ваш веб-сайт, должен быть оптимизирован до максимального потенциала. Это особенно актуально для элементов, которые могут повлиять на поведение посетителей вашего сайта и коэффициент конверсии бизнеса. При реализации программы оптимизации протестируйте следующие ключевые элементы сайта (однако список не является исчерпывающим):

Копировать

1. Заголовки и подзаголовки

Заголовок – это практически первое, что замечает посетитель на веб-странице. Это также то, что определяет их первое и последнее впечатление, заполняя пробелы, будут ли они идти дальше и превращаться в платящих клиентов. Следовательно, крайне важно быть особенно осторожным с заголовками и подзаголовками вашего сайта. Убедитесь, что они короткие, точные, запоминающиеся и передают желаемое сообщение с первой позиции. Попробуйте провести A/B-тестирование нескольких копий с разными шрифтами и стилями написания и проанализируйте, какие из них больше всего привлекают внимание посетителей и заставляют их совершить конверсию. Вы также можете использовать систему генерации текста на базе искусственного интеллекта VWO, чтобы генерировать рекомендации для существующей копии на вашем веб-сайте.

2. Тело

В тексте или основном текстовом содержании вашего веб-сайта должно быть четко указано, что получает посетитель и что его ждет. Он также должен резонировать с заголовком и подзаголовком вашей страницы. Хорошо написанное тело может значительно увеличить шансы превратить ваш сайт в магнит для конверсий. 

При разработке контента вашего веб-сайта помните о следующих двух параметрах:

• Стиль письма: используйте правильную тональность в зависимости от вашей целевой аудитории. Ваш текст должен напрямую обращаться к конечному пользователю и отвечать на все его вопросы. Он должен содержать ключевые фразы, улучшающие удобство использования, и стилистические элементы, подчеркивающие важные моменты.
• Форматирование: используйте соответствующие заголовки и подзаголовки, разбивайте текст на небольшие и простые абзацы и форматируйте его для скиммеров, используя маркированные списки или списки.

Интересно, что оптимизаторы опыта теперь могут использовать искусственный интеллект для создания копий веб-сайтов. GPT-3.5 Turbo или Generative Pre-trained Transformer 3 — это нейронная сеть на базе искусственного интеллекта, способная создавать практически безупречный текстовый контент, соответствующий любому заданному контексту. GPT-3.5 Turbo, созданный OpenAI, использует машинное обучение для прогнозирования и составления контента так же, как человек. Лучшая часть? Теперь вы можете интегрировать GPT-3.5 Turbo OpenAI с учетной записью VWO Testing, создавать варианты для копии вашего веб-сайта и развертывать их без помощи эксперта-писателя или ИТ-специалиста соответственно. 

3. Тема письма

Темы электронных писем напрямую влияют на открываемость. Если подписчик не видит ничего, что ему нравится, письмо, скорее всего, попадет в корзину.

Согласно недавним исследованиям, средний уровень открытий в более чем дюжине отраслей колеблется от 25 до 47 процентов. Даже если ваш уровень выше среднего, только около половины ваших подписчиков смогут открыть ваши электронные письма.

Темы A/B-тестирования могут повысить ваши шансы заставить людей кликнуть по ссылке. Пробуйте вопросы, а не утверждения, сравнивайте сильные слова друг с другом и рассмотрите возможность использования строк темы со смайликами и без них. 

Дизайн и верстка

Поскольку все кажется таким важным, компаниям иногда сложно найти на своем веб-сайте только самые важные элементы. С помощью A/B-тестирования эту проблему можно решить раз и навсегда. 

Например, для магазина электронной коммерции ваша страница продукта чрезвычайно важна с точки зрения конверсии. Одно можно сказать наверняка: на нынешнем этапе технического прогресса покупателям нравится видеть все в высоком разрешении, прежде чем покупать это. Поэтому ваша страница продукта должна быть в наиболее оптимизированной форме с точки зрения дизайна и макета. 

Помимо текста, дизайн и макет страницы включают изображения (изображения продуктов, изображения предложений и т. д.) и видео (видео о продуктах, демонстрационные видеоролики, рекламные объявления и т. д.). Страница вашего продукта должна отвечать на все вопросы посетителей, не сбивая их с толку и не загромождая:

• Предоставьте четкую информацию: основываясь на продуктах, которые вы продаете, найдите творческие способы предоставить весь необходимый контекст и точные описания продуктов, чтобы потенциальные покупатели не были перегружены неорганизованным текстом при поиске ответов на свои вопросы. Напишите четкие копии и предоставьте легко заметные таблицы размеров, варианты цвета и т. д.
• Выделите отзывы клиентов: добавьте как хорошие, так и плохие отзывы о ваших продуктах. Отрицательные отзывы повышают авторитет вашего магазина.
• Пишите простой контент. Не сбивайте потенциальных покупателей с толку сложными формулировками, пытаясь украсить свой контент. Пусть это будет коротким, простым и интересным для чтения.
• Создайте ощущение срочности: добавьте теги, такие как «Осталось только 2 в наличии», обратные отсчеты, такие как «Предложение закончится через 2 часа и 15 минут», или выделите эксклюзивные скидки и праздничные предложения и т. д., чтобы подтолкнуть потенциальных покупателей к немедленной покупке.

Другими важными страницами, дизайн которых должен быть точным, являются такие страницы, как домашняя страница и целевая страница. Используйте A/B-тестирование, чтобы найти наиболее оптимизированную версию этих важных страниц. Тестируйте как можно больше идей, например добавляйте много пустого пространства и изображений высокой четкости, демонстрируйте видеоролики о продуктах вместо изображений и тестируйте различные макеты. 

Наведите порядок на своих страницах, используя данные тепловых карт, карт кликов и карт прокрутки, чтобы анализировать мертвые клики и выявлять отвлекающие факторы. Чем менее загромождена ваша домашняя страница и целевые страницы, тем больше вероятность того, что ваши посетители смогут легко и быстро найти то, что они ищут.

Навигация

Еще один элемент вашего веб-сайта, который вы можете оптимизировать с помощью A/B-тестирования, — это навигация вашего сайта. Это наиболее важный элемент, когда речь идет о предоставлении превосходного пользовательского опыта. Убедитесь, что у вас есть четкий план структуры вашего веб-сайта и того, как разные страницы будут связаны друг с другом и реагировать внутри этой структуры. 

Навигация по вашему сайту начинается с главной страницы. Домашняя страница — это родительская страница, из которой появляются все остальные страницы и ссылаются друг на друга. Убедитесь, что ваша структура такова, что посетители могут легко найти то, что ищут, и не заблудиться из-за нарушенного пути навигации. Каждый клик должен направлять посетителей на нужную страницу.

Ниже приведены некоторые идеи, которые помогут вам улучшить вашу навигационную игру:

• Соответствуйте ожиданиям посетителей , разместив панель навигации в стандартных местах, таких как горизонтальная навигация вверху и вертикальная вниз слева, чтобы упростить использование вашего веб-сайта.
• Сделайте навигацию вашего веб-сайта предсказуемой , сохраняя контент схожей тематики в одном или связанных сегментах, чтобы снизить когнитивную нагрузку вашего посетителя. Например, в магазине электронной коммерции вы можете продавать различные наушники и наушники. Некоторые из них могут быть проводными, а другие — беспроводными или наушниками. Сгруппируйте их таким образом, чтобы, когда посетитель ищет наушники или наушники, он находил все эти варианты в одном месте, а не искал каждый вид отдельно.
• Создание гибкого веб-сайта с удобной навигацией, сохраняя его структуру простой, предсказуемой и соответствующей ожиданиям ваших посетителей. Это не только увеличит шансы на получение большего количества конверсий, но и создаст приятный клиентский опыт , заставляющий посетителей возвращаться на ваш сайт.

Формы

Формы — это средства, с помощью которых потенциальные клиенты связываются с вами. Они становятся еще более важными, если являются частью вашей воронки продаж. Как не бывает двух одинаковых веб-сайтов, так и не бывает двух одинаковых форм, адресованных разным аудиториям. Хотя небольшая подробная форма может работать для некоторых компаний, длинные формы могут творить чудеса с точки зрения качества потенциальных клиентов для других компаний. 

Вы можете выяснить, какой стиль лучше всего подходит вашей аудитории, используя исследовательские инструменты/методы, такие как анализ формы, чтобы определить проблемную область в вашей форме и работать над ее оптимизацией.

CTA (призыв к действию)

В CTA происходят все реальные действия: завершают ли посетители свои покупки и совершают ли они конверсию, заполняют ли они форму регистрации или нет, а также другие действия, которые имеют прямое влияние на ваш коэффициент конверсии. A/B-тестирование позволяет вам тестировать различные копии CTA, их размещение на веб-странице, экспериментировать с их размером и цветовой схемой и так далее. Такое экспериментирование помогает понять, какой вариант может принести наибольшее количество конверсий.

Социальное доказательство

Социальное доказательство может принимать форму рекомендаций и обзоров экспертов в конкретных областях, знаменитостей и самих клиентов или может выражаться в виде отзывов, упоминаний в СМИ, наград и значков, сертификатов и т. д. Наличие этих доказательств подтверждает утверждения вашего веб-сайта. A/B-тестирование может помочь вам определить, является ли добавление социального доказательства хорошей идеей. Если это хорошая идея, какие виды социальных доказательств вам следует добавить и сколько? Вы можете протестировать различные типы социальных доказательств, их макеты и места размещения, чтобы понять, какое из них лучше всего работает в вашу пользу.

Глубина контента

Некоторые посетители веб-сайтов предпочитают читать объемные фрагменты контента, подробно освещающие даже мельчайшие детали. Между тем, многие другие просто любят просматривать страницу и глубоко погружаться только в те темы, которые для них наиболее актуальны. К какой категории относится ваша целевая аудитория?

Глубина контента A/B-тестирования. Создание двух частей одного и того же контента, одна из которых значительно длиннее другой, обеспечивает больше деталей. Проанализируйте, что больше всего привлекает ваших читателей. 

Помните, что глубина контента влияет на SEO и многие другие бизнес-показатели, такие как коэффициент конверсии, время, потраченное на страницу, и показатель отказов. A/B-тестирование позволяет найти идеальный баланс между ними.

Какие существуют типы A/B-тестов?

После изучения того, какие элементы веб-страницы следует тестировать, чтобы улучшить показатели вашего бизнеса, давайте продолжим и узнаем о различных видах методов тестирования, а также об их преимуществах.

В идеале существует четыре основных метода тестирования: A/B-тестирование, тестирование разделенных URL-адресов, многовариантное тестирование и многостраничное тестирование. Мы уже обсуждали первый вид, а именно A/B-тестирование. Перейдем к остальным.

Тестирование разделенного URL-адреса

Многие люди, занимающиеся тестированием, путают тестирование разделенных URL-адресов с A/B-тестированием. Тем не менее, эти два фундаментально очень разные. Тестирование разделенного URL-адреса относится к процессу экспериментирования , в ходе которого тестируется совершенно новая версия существующего URL-адреса веб-страницы, чтобы проанализировать, какая из них работает лучше. 

Обычно A/B-тестирование используется, когда вы хотите протестировать только изменения внешнего интерфейса на своем веб-сайте. С другой стороны, тестирование разделенного URL-адреса используется, когда вы хотите внести существенные изменения в существующую страницу, особенно с точки зрения дизайна. Вы не хотите трогать существующий дизайн веб-страницы для сравнения. 

Когда вы запускаете тест разделения URL-адреса, трафик вашего веб-сайта делится между контрольным (исходный URL-адрес веб-страницы) и вариантами (URL-адрес новой веб-страницы), и для определения победителя измеряется каждый из соответствующих коэффициентов конверсии. 

Преимущества тестирования разделенных URL-адресов

• Идеально подходит для опробования радикально новых дизайнов при использовании существующего дизайна страницы для сравнительного анализа. 
• Рекомендуется для запуска тестов с изменениями, не связанными с пользовательским интерфейсом, такими как переключение на другую базу данных, оптимизация времени загрузки вашей страницы и т. д. 
• Измените рабочие процессы веб-страницы. Рабочие процессы существенно влияют на конверсию бизнеса, помогая тестировать новые пути перед внесением изменений и определять, не были ли упущены какие-либо каменные точки.
• Лучший и широко рекомендуемый метод тестирования динамического контента. 

Многомерное тестирование (MVT)

Многомерное тестирование (MVT) относится к методу экспериментирования, при котором одновременно проверяются варианты нескольких переменных страницы, чтобы проанализировать, какая комбинация переменных работает лучше всего из всех возможных перестановок. Он сложнее обычного A/B-теста и лучше всего подходит для опытных специалистов в области маркетинга, продуктов и разработки.

Вот пример, который даст вам более полное описание многомерного тестирования. Допустим, вы решили протестировать две версии: изображение главного героя, цвет кнопки призыва к действию и заголовки одной из ваших целевых страниц. Это означает, что всего создано 8 вариантов, которые будут одновременно проверены, чтобы найти выигрышный вариант.

Вот простая формула для расчета общего количества версий в многомерном тесте:

[Нет. вариаций элемента А] x [№. вариаций элемента B] x [№. вариаций элемента C]… = [Общее количество вариаций]

При правильном проведении многовариантное тестирование может помочь устранить необходимость запуска нескольких последовательных A/B-тестов на веб-странице с одинаковыми целями. Проведение параллельных тестов с большим количеством вариантов поможет вам сэкономить время, деньги и усилия и прийти к выводу в кратчайшие сроки.

Преимущества многомерного тестирования 

Многовариантное тестирование обычно дает три основных преимущества:

• Помогает избежать необходимости проводить несколько последовательных A/B-тестов с одной и той же целью и экономит время, поскольку вы можете одновременно отслеживать производительность различных тестируемых элементов страницы.
• Легко анализируйте и определяйте вклад каждого элемента страницы в измеряемый выигрыш.
• Сопоставьте все взаимодействие между всеми независимыми вариантами элементов (заголовки страниц, изображение баннера и т. д.).

Многостраничное тестирование

Многостраничное тестирование — это форма экспериментирования, при которой вы можете тестировать изменения в определенных элементах на нескольких страницах.

Существует два способа проведения многостраничного теста. Во-первых, вы можете либо взять все страницы своей воронки продаж и создать новые версии каждой, что сделает воронку продаж вашим претендентом, а затем протестировать ее на контрольном уровне. Это называется многостраничным тестированием воронки . 

Во-вторых, вы можете проверить, как добавление или удаление повторяющихся элементов, таких как значки безопасности, отзывы и т. д., может повлиять на конверсии по всей воронке продаж. Это называется классическим или обычным многостраничным тестированием . 

Преимущества многостраничного тестирования 

Подобно A/B-тестированию, многостраничное тестирование легко создать и запустить, оно позволяет легко и в кратчайшие сроки получить значимые и надежные данные. 

Преимущества многостраничного тестирования заключаются в следующем:

1. Это позволяет вам создавать последовательный опыт для вашей целевой аудитории. 
2. Это помогает вашей целевой аудитории видеть единый набор страниц, независимо от того, является ли это элементом управления или одним из его вариантов. 
3. Это позволяет вам реализовать одно и то же изменение на нескольких страницах, чтобы посетители вашего сайта не отвлекались и не переключались между различными вариантами и дизайнами при навигации по вашему сайту.

Какой статистический подход использовать для проведения A/B-тестирования?

После изучения четырех различных типов экспериментальных методов A/B-тестирования не менее важно понять, какой статистический подход следует использовать, чтобы успешно провести A/B-тестирование и сделать правильный бизнес-вывод. 

В идеале существует два типа статистических подходов, используемых экспериментаторами A/B/n по всему миру: частотный и байесовский. Каждый из этих подходов имеет свои плюсы и минусы. Однако мы в VWO используем, поддерживаем и продвигаем байесовский подход. 

Сравнение двух подходов, приведенное ниже, поможет вам понять, почему.

Частотный подход:

Частотный подход вероятности определяет вероятность события в зависимости от того, как часто (отсюда и название) определенное событие происходит в большом количестве испытаний/точек данных. Применительно к миру A/B-тестирования можно увидеть, что любому, кто использует частотный подход, потребуется больше данных (в зависимости от большего количества протестированных посетителей и за более длительную продолжительность), чтобы прийти к правильным выводам. Это то, что ограничивает вас в расширении любых усилий по A/B-тестированию. Согласно подходу «Частый подход», важно определить продолжительность вашего A/B-теста на основе размера выборки, чтобы прийти к правильным выводам по тесту. Тесты основаны на том, что каждый эксперимент можно повторять бесконечное количество раз.

Следование этому подходу требует большого внимания к деталям каждого запускаемого вами теста, поскольку для одного и того же набора посетителей вам придется проводить тесты большей продолжительности, чем при байесовском подходе. Следовательно, к каждому тесту необходимо относиться с особой осторожностью, поскольку за определенный период времени можно выполнить лишь несколько тестов. В отличие от байесовской статистики, частотный подход менее интуитивен и часто оказывается трудным для понимания.

Байесовский подход:

По сравнению с частотным подходом, байесовская статистика представляет собой теоретический подход, который имеет дело с байесовской интерпретацией вероятности, где вероятность выражается как степень уверенности в событии. Другими словами, чем больше вы знаете о событии, тем лучше и быстрее вы сможете предсказать конечный результат. Вероятность в байесовской статистике не является фиксированным значением, а может меняться по мере сбора новой информации. Это убеждение может быть основано на прошлой информации, например, на результатах предыдущих тестов или другой информации о событии. 

В отличие от частотного подхода, байесовский подход обеспечивает практические результаты почти на 50% быстрее, уделяя особое внимание статистической значимости . В любой момент, при условии, что у вас под рукой достаточно данных, байесовский подход подскажет вам вероятность того, что вариант А будет иметь более низкий коэффициент конверсии, чем вариант Б или контрольный вариант. Он не имеет определенного срока и не требует от вас глубоких знаний статистики.

Проще говоря, байесовский подход сродни тому, как мы подходим к вещам в повседневной жизни. Например, вы потеряли свой мобильный телефон дома. Как постоянный посетитель, вы будете использовать GPS-трекер только для отслеживания и проверять только ту область, на которую указывает трекер. Будучи байесовцем, вы будете не только использовать GPS-трекер, но и проверять все места в доме, где ранее вы нашли потерянный телефон. В первом случае событие считается фиксированным значением, а во втором для определения местонахождения телефона используются все прошлые и будущие знания. 

Чтобы получить более четкое представление о двух статистических подходах, специально для вас приведена сравнительная таблица:

Частотный подход	Байесовский подход
Статистика частотности соответствует определению вероятности «Вероятность как долгосрочная частота».	Байесовская статистика следует понятиям «Вероятность как степень уверенности» и «Логическая вероятность».
При таком подходе вы используете только данные текущего эксперимента. Частотное решение — провести тесты и сделать выводы.	При таком подходе вы используете свои предварительные знания из предыдущих экспериментов и пытаетесь включить эту информацию в свои текущие данные. Байесовское решение состоит в том, чтобы использовать существующие данные для получения выводов.
Приведите примерное среднее значение (и стандартное отклонение) выборок, где A превосходит B, но полностью игнорирует случаи, когда B превосходит A.	Он учитывает вероятность того, что A превзойдет B, а также рассчитывает диапазон улучшения, которого вы можете ожидать.
Требуется, чтобы тест выполнялся в течение заданного периода, чтобы получить от него правильные данные, но не может определить, насколько близко или далеко на самом деле находятся точки A и B. Он не может сказать вам вероятность того, что A победит B.	Дает вам больше контроля над тестированием. Теперь вы можете лучше планировать, иметь более точную причину завершения тестов и детально разобраться в том, насколько близко или далеко друг от друга находятся A и B.

После того, как вы выяснили, какой метод тестирования и статистический подход вы хотите использовать, пришло время изучить искусство и науку проведения A/B-тестов на платформе A/B-тестирования VWO .

Как провести A/B-тест?

A/B-тестирование предлагает очень систематический способ выяснить, что работает, а что не работает в той или иной маркетинговой кампании. Большинство маркетинговых усилий направлено на привлечение большего трафика. Поскольку привлечение трафика становится все более сложным и дорогим, первостепенное значение приобретает предоставление пользователям наилучших впечатлений от посещения вашего веб-сайта. Это поможет им достичь своих целей и позволит им конвертироваться максимально быстро и эффективно. A/B-тестирование в маркетинге позволяет максимально эффективно использовать существующий трафик и увеличить приток доходов. 

Структурированная программа A/B-тестирования может сделать маркетинговые усилия более прибыльными, выявив наиболее важные проблемные области, требующие оптимизации. A/B-тестирование в настоящее время переходит от отдельного мероприятия, которое проводится один раз в синюю луну, к более структурированному и непрерывному действию, которое всегда должно выполняться посредством четко определенного процесса CRO. В общих чертах он включает в себя следующие этапы:

Шаг 1: Исследование

Прежде чем составлять план A/B-тестирования, необходимо провести тщательное исследование того, как веб-сайт работает в настоящее время. Вам нужно будет собирать данные обо всем, что связано с тем, сколько пользователей заходит на сайт, какие страницы привлекают больше всего трафика, различными целями конверсии разных страниц и т. д. Используемые здесь инструменты A/B-тестирования могут включать количественный анализ веб-сайта . такие инструменты, как Google Analytics, Omniture, Mixpanel и т. д., которые помогут вам определить наиболее посещаемые страницы, страницы с наибольшим количеством потраченного времени или страницы с самым высоким показателем отказов. Например, вы можете начать с включения в короткий список страниц, которые имеют самый высокий потенциал дохода или самый высокий ежедневный трафик. После этого вы, возможно, захотите глубже изучить качественные аспекты этого трафика. 

Инструменты тепловых карт — это ведущая технология, используемая для определения того, где пользователи проводят больше всего времени, их поведение при прокрутке и т. д. Это может помочь вам выявить проблемные области на вашем веб-сайте. Еще один популярный инструмент, используемый для проведения более глубоких исследований, — это опросы пользователей веб-сайтов. Опросы могут служить прямым каналом связи между командой вашего веб-сайта и конечным пользователем и часто выявляют проблемы, которые могут быть упущены в совокупных данных. 

Кроме того, качественную информацию можно получить с помощью инструментов записи сеансов , которые собирают данные о поведении посетителей, что помогает выявить пробелы в пути пользователя. Фактически, инструменты записи сеансов в сочетании с опросами для анализа форм могут помочь понять, почему пользователи не заполняют вашу форму. Это может быть связано с тем, что некоторые поля запрашивают личную информацию или пользователи, возможно, слишком долго отказываются от ваших форм.

Как мы видим, как количественные, так и качественные исследования могут помочь нам подготовиться к следующему шагу в этом процессе, делая практические наблюдения для следующих шагов.

Шаг 2: Наблюдайте и формулируйте гипотезу

Станьте ближе к своим бизнес-целям, регистрируя исследовательские наблюдения и создавая обоснованные гипотезы, направленные на увеличение конверсий. Без них ваша тестовая кампания будет подобна беснаправленному компасу. Инструменты качественных и количественных исследований могут помочь вам только в сборе данных о поведении посетителей. Теперь ваша ответственность — проанализировать и осмыслить эти данные. Лучший способ использовать каждый бит собранных данных — это проанализировать их, провести тщательные наблюдения за ними, а затем извлечь информацию из веб-сайтов и пользователей для формулирования гипотез, подкрепленных данными. Как только у вас будет готова гипотеза, протестируйте ее по различным параметрам, например, насколько вы уверены в ее победе, ее влияние на макроцели, насколько легко ее настроить и так далее.

Шаг 3. Создайте варианты

Следующим шагом в вашей программе тестирования должно стать создание варианта на основе вашей гипотезы и его A/B-тестирование на основе существующей версии (контрольной). Вариант — это другая версия вашей текущей версии с изменениями, которые вы хотите протестировать. Вы можете протестировать несколько вариантов с помощью элемента управления, чтобы увидеть, какой из них работает лучше всего. Создайте вариант, основанный на вашей гипотезе о том, что может работать с точки зрения UX. Например, достаточно ли людей, не заполняющих формы? В вашей форме слишком много полей? Запрашивает личную информацию? Возможно, вы можете попробовать вариант с более короткой формой или другой вариант, опустив поля, в которых запрашивается личная информация.

Шаг 4. Запустите тест.

Прежде чем мы перейдем к этому шагу, важно определиться с типом метода и подхода тестирования, который вы хотите использовать. После того, как вы остановились на любом из этих типов и подходов, основываясь (см. главы, написанные выше) на потребностях вашего веб-сайта и бизнес-целях, начните тестирование и подождите оговоренного времени для достижения статистически значимых результатов. Имейте в виду одну вещь: независимо от того, какой метод вы выберете, ваш метод тестирования и статистическая точность будут определять конечные результаты. 

Например, одним из таких условий является время проведения тестовой кампании. Время и продолжительность теста должны быть точными. Рассчитайте продолжительность теста, принимая во внимание среднее число посетителей в день и месяц, предполагаемый существующий коэффициент конверсии, ожидаемое минимальное улучшение коэффициента конверсии, количество вариантов (включая контрольный), процент посетителей, включенных в тест, и так далее.

Воспользуйтесь нашим байесовским калькулятором, чтобы рассчитать продолжительность, в течение которой вам следует проводить A/B-тесты для достижения статистически значимых результатов.

Шаг 5. Анализ результатов и внедрение изменений

Несмотря на то, что это последний шаг в поиске победителя вашей кампании, анализ результатов чрезвычайно важен. Поскольку A/B-тестирование требует непрерывного сбора и анализа данных, именно на этом этапе разворачивается весь ваш путь. После завершения теста проанализируйте результаты теста, учитывая такие показатели, как процентное увеличение, уровень уверенности, прямое и косвенное влияние на другие показатели и т. д. После того, как вы учли эти цифры, если тест пройден успешно, разверните выигрышный вариант. Если тест остается безрезультатным, извлеките из него информацию и реализуйте ее в своих последующих тестах.

A/B-тестирование позволяет систематически работать над каждой частью вашего веб-сайта, чтобы улучшить конверсию.

Как составить календарь A/B-тестирования – спланируйте и расставьте приоритеты

A/B-тестирование никогда не следует рассматривать как изолированное мероприятие по оптимизации. Это часть более широкой целостной программы CRO, и к ней следует относиться соответственно. Эффективная программа оптимизации обычно состоит из двух частей: планирования и определения приоритетов. Проснуться однажды и решить протестировать свой веб-сайт — это не то, как это делается в CRO. Хороший объем мозгового штурма, а также данные о посетителях в реальном времени — единственный способ добиться этого. 

Проще говоря, вы начинаете с анализа существующих данных веб-сайта и сбора данных о поведении посетителей, затем переходите к подготовке списка действий на их основе, дальнейшей приоритезации каждого из этих элементов, запуску тестов и затем получению информации на будущее. В конце концов, когда вы, как оптимизаторы опыта, проведете достаточное количество специальных тестов, вам захочется масштабировать свою программу A/B-тестирования, чтобы сделать ее более структурированной. 

Первым шагом к этому является составление календаря A/B-тестирования. Хороший календарь тестирования или хорошая программа CRO проведут вас через 4 этапа:

Этап 1: Измерьте

Этот этап является этапом планирования вашей программы A/B-тестирования. Он включает в себя измерение эффективности вашего сайта с точки зрения того, как на него реагируют посетители. На этом этапе вы сможете выяснить, что происходит на вашем сайте, почему это происходит и как на это реагируют посетители. Все, что происходит на вашем сайте, должно соответствовать целям вашего бизнеса. Итак, прежде всего, вам нужно быть уверенным, каковы ваши бизнес-цели. Такие инструменты, как Google Analytics, могут помочь вам измерить ваши цели. После того, как вы четко определили цели, настройте GA для своего веб-сайта и определите ключевые показатели эффективности.

В качестве примера возьмем интернет-магазин чехлов для мобильных телефонов. Бизнес-цель этого магазина — увеличить доход за счет увеличения онлайн-заказов и продаж. KPI, установленный для отслеживания этой цели, будет количеством проданных чехлов для телефонов.

Однако этот этап не заканчивается просто определением целей веб-сайта и ключевых показателей эффективности. Это также включает в себя понимание ваших посетителей. Мы уже обсуждали различные инструменты, которые можно использовать для сбора данных о поведении посетителей. Как только данные будут собраны, войдите в систему наблюдений и начните планировать свою кампанию оттуда. Лучшие данные означают более высокие продажи.

После того, как бизнес-цели определены, установлены ключевые показатели эффективности и проанализированы данные веб-сайта и данные о поведении посетителей, пришло время подготовить резервную копию.

Отставание: « скопление невыполненных задач или необработанных материалов. »

Ваш бэклог должен представлять собой исчерпывающий список всех элементов веб-сайта, которые вы решили протестировать на основе проанализированных вами данных. Когда резервная копия данных готова, следующим шагом будет формулирование гипотезы для каждого элемента невыполненной работы. Благодаря данным, собранным на этом этапе, и их анализу, у вас теперь будет достаточный контекст того, что происходит на вашем веб-сайте и почему. На их основе сформулируйте гипотезу. 

Например, проанализировав данные, собранные с помощью инструментов количественного и качественного исследования на 1-м этапе, вы приходите к выводу, что отсутствие нескольких вариантов оплаты привело к тому, что максимальное количество потенциальных клиентов ушло на страницу оформления заказа. Итак, вы предполагаете, что «добавление нескольких вариантов оплаты поможет уменьшить количество отказов на странице оформления заказа».

Короче говоря, к концу этого этапа вы будете знать, что и почему у вашего сайта.

Этап 2: Расставьте приоритеты

Следующий этап предполагает определение приоритетов ваших возможностей тестирования. Расстановка приоритетов помогает вам научно сортировать множество гипотез. К настоящему моменту вы должны быть полностью оснащены данными веб-сайта, данными о посетителях и четко понимать свои цели. Имея отставание, которое вы подготовили на первом этапе, и гипотезу, готовую для каждого кандидата, вы уже на полпути к плану оптимизации. Теперь наступает главная задача этого этапа: расстановка приоритетов.

На втором этапе вы должны быть полностью подготовлены к выявлению проблемных областей вашего веб-сайта и утечек в воронке продаж. Однако не все направления деятельности имеют одинаковый бизнес-потенциал. Поэтому становится крайне важно взвесить кандидатов из резерва, прежде чем выбирать тех, кого вы хотите протестировать. При определении приоритетности элементов тестовой кампании следует учитывать несколько вещей, таких как потенциал улучшения, ценность и стоимость страницы, важность страницы с точки зрения бизнеса, трафик на странице и т. д.

Но как вы можете гарантировать, что никакая субъективность не проникнет в вашу систему расстановки приоритетов? Можете ли вы всегда быть на 100% объективным? Как люди, мы придаем большое значение внутренним чувствам, личным мнениям, идеям и ценностям, потому что это то, что помогает нам в повседневной жизни. Но CRO – это не повседневная жизнь. Это научный процесс, который требует от вас объективности и принятия обоснованных решений и выбора, основанных на данных. Лучший способ избавиться от этой субъективности – принять систему расстановки приоритетов.

Существует множество схем расстановки приоритетов, которые используют даже эксперты, чтобы разобраться в своих огромных отставаниях. На этой основной странице вы узнаете о наиболее популярных платформах, которые используют опытные оптимизаторы, — о системе определения приоритетов CIE, системе определения приоритетов PIE и модели LIFT.

1. Система приоритетов CIE

В системе CIE есть три параметра, по которым вы должны оценить свой тест по шкале от 1 до 5:

• Уверенность: по шкале от 1 до 5 (1 – самый низкий уровень, 5 – самый высокий) выберите, насколько вы уверены в достижении ожидаемого улучшения с помощью гипотезы.
• Важность: по шкале от 1 до 5 (1 – самый низкий уровень, 5 – самый высокий) выберите, насколько важен тест (для которого создается гипотеза).
• Легкость: выберите сложность теста по шкале от 1 до 5 (1 – самый сложный вариант, 5 – самый простой). Оцените, насколько сложно будет реализовать изменения, выявленные в ходе теста.

Прежде чем оценивать свои гипотезы, обратите внимание на следующие три вещи:

А. Насколько вы уверены в достижении подъема?

Прототипирование пользовательской персоны, на которую вы ориентируетесь, может помочь вам определить потенциал гипотезы. Зная свою аудиторию, вы можете сделать обоснованное предположение о том, поможет ли гипотеза развеять опасения и сомнения пользователей и подтолкнуть их к конверсии или нет.

Б. Насколько ценен трафик, для которого вы проводите этот тест?

Ваш веб-сайт может привлекать большое количество посетителей, но не все посетители становятся покупателями. Не все конвертируются. Например, гипотеза, построенная на странице оформления заказа, имеет более важное значение, чем гипотеза, построенная на странице характеристик продукта. Это связано с тем, что посетители на странице оформления заказа находятся гораздо глубже в вашей воронке конверсии и имеют более высокий шанс совершить конверсию, чем посетители на странице характеристик вашего продукта.

C. Насколько легко реализовать этот тест?

Далее следует определить простоту реализации вашего теста. Попытайтесь ответить на несколько вопросов: потребуется ли с вашей стороны много стратегий для реализации гипотезы? Какие усилия необходимы для проектирования и разработки решения, предложенного гипотезой? Могут ли изменения, предложенные в гипотезе, быть реализованы с использованием только визуального редактора или требуется добавление собственного кода? Только после того, как вы ответите на все эти и другие подобные вопросы, вы можете оценить своего кандидата из невыполненной работы по параметру смягчения.

2. Структура приоритетов PIE

Платформа PIE была разработана для ответа на вопрос: «Где мне следует провести тестирование в первую очередь?». Вся цель этапа определения приоритетов в вашем путешествии по A/B-тестированию — найти ответ именно на этот вопрос. В рамках PIE говорится о трех критериях, которые следует учитывать при выборе того, что и когда тестировать: потенциал, важность и простота.

Потенциал означает способность страницы улучшаться. Этап планирования должен предоставить вам все данные, необходимые для этого.

Важность относится к ценности страницы: сколько трафика приходит на страницу. Если вы определили проблемную страницу, но на этой странице нет трафика, то эта страница имеет меньшую важность по сравнению с другими страницами с более высоким трафиком.

Третий и последний критерий – легкость. Легкость определяет, насколько сложно запустить тест на конкретной странице или элементе. Один из способов определить простоту тестирования страницы — использовать такие инструменты, как анализатор целевых страниц , чтобы определить текущее состояние ваших целевых страниц, оценить количество и масштаб потребованных изменений, а также расставить приоритеты, какие из них следует делать или делать ли их вообще. . Это важно с точки зрения ресурсов. Многие компании отказываются от проведения кампании A/B-тестирования из-за нехватки ресурсов. Эти ресурсы бывают двух видов:

А. Людские ресурсы

Несмотря на то, что компании уже много лет используют CRO и A/B-тестирование, лишь недавно эти две концепции вышли на передний план. По этой причине на большом сегменте рынка нет специальной команды по оптимизации, а когда она и есть, то обычно она состоит из нескольких человек. Вот тут-то и пригодится плановый календарь оптимизации. При правильно спланированном и расставленном по приоритетам отставании небольшая команда CRO может сосредоточить свои ограниченные ресурсы на важных задачах.

Б. Инструменты: 

Насколько популярны CRO и A/B-тестирование, так же популярны и сотни инструментов A/B-тестирования – как бюджетных, так и высококлассных. Без точки зрения эксперта, если бы компании выбрали один из множества, скажем, самый дешевый, и начали A/B-тестирование каждого отдельного элемента в портфеле, они не пришли бы к статистически значимому выводу. Для этого есть две причины: во-первых, тестирование без определения приоритетов обречено на провал и не принесет никакой прибыли для бизнеса. Во-вторых, не все инструменты одинакового качества. 

Некоторые инструменты могут быть более дорогими, но они либо интегрированы с хорошими качественными и количественными исследовательскими инструментами, либо являются прекрасными автономными инструментами, что делает их более чем способными давать статистически значимые результаты. В то время как другой пакет может быть дешевле и заманивать предприятия во время кризиса капитала и огромного отставания, эти инструменты окажутся для них лишь инвестиционными потерями без каких-либо выгод. Расстановка приоритетов поможет вам разобраться в своем отставании и посвятить все имеющиеся у вас небольшие ресурсы выгодному кандидату на тестирование.

Кандидаты из резерва должны быть отмечены тем, насколько сложно их тестировать, исходя из технической и экономической простоты. Вы можете количественно оценить каждого потенциального кандидата как бизнес-возможность на основе вышеуказанных критериев и выбрать того, кто наберет наибольшее количество баллов. Например, как и в случае с бизнесом электронной коммерции, вы можете протестировать свою домашнюю страницу, страницу продукта, страницу оформления заказа и страницу благодарности (рейтинга). Теперь, согласно схеме PIE, вы выстраиваете их в ряд и отмечаете их потенциал, важность и простоту:

*отмечается из 10 баллов по каждому критерию.

3. Модель ЛИФТ

Модель LIFT — еще одна популярная система оптимизации конверсий , которая помогает анализировать взаимодействие с веб-сайтами и мобильными устройствами и разрабатывать хорошие гипотезы для A/B-тестирования. Он использует 6 факторов преобразования для оценки впечатлений с точки зрения посетителя вашей страницы: ценностное предложение, ясность, релевантность, отвлечение, срочность и тревога.

Расставив приоритеты, вы сможете подготовить календарь A/B-тестирования к выполнению как минимум на 6–12 месяцев. Это не только даст вам время и предупреждение для подготовки к тесту, но и спланирует ваши ресурсы.

Этап 3: A/B-тестирование

Третий и самый ответственный этап – этап тестирования. После этапа расстановки приоритетов у вас будут все необходимые данные и приоритетный бэклог. После того как вы сформулировали гипотезы, соответствующие вашей цели, и расставили их по приоритетам, создайте варианты и отмените тест. Во время выполнения теста убедитесь, что он соответствует всем требованиям для получения статистически значимых результатов перед закрытием, например, тестирование точного трафика, отсутствие одновременного тестирования слишком большого количества элементов, тестирование на правильную продолжительность и т. д.

Этап 4: Повторите

На этом этапе вам предстоит извлечь уроки из прошлого и текущего теста и применить их в будущих тестах. Как только тест проработает заданное время, остановите его и начните анализировать собранные таким образом данные. Первое, что вы поймете, это то, что одна из многих тестируемых версий показала себя лучше, чем все остальные, и победила. Пришло время вам и вашей команде выяснить, почему это произошло. У вашего теста может быть 3 результата:

• Ваш вариант или один из ваших вариантов выиграет со статистической значимостью.
• Ваш контрольный вариант был лучшей версией и победил вариант(ы).
• Ваш тест не прошёл и дал незначительные результаты. Определите значимость результатов вашего теста с помощью таких инструментов, как калькулятор значимости A/B-теста.

В первых двух сценариях не прекращайте тестирование только потому, что у вас есть победитель. Внесите улучшения в эту версию и продолжайте тестирование. В третьем сценарии вспомните все шаги и определите, где вы допустили ошибку, и повторите тест после исправления ошибки.

Вот загружаемый образец календаря A/B-тестирования . Чтобы использовать эту таблицу, нажмите «Файл» в главном меню, а затем нажмите «Создать копию».

Файл > Создать копию

При масштабировании программы A/B-тестирования имейте в виду следующие моменты:

A. Возвращение к ранее завершенному тесту: 

При наличии календаря с приоритетами ваша команда по оптимизации будет иметь четкое представление о том, что они будут тестировать дальше и какой тест нужно запускать. После того, как вы протестировали каждый элемент или большинство элементов в бэклоге, вернитесь к каждой успешной, а также к неудачной кампании. Проанализируйте результаты теста и определите, достаточно ли данных для запуска еще одной версии теста. Если есть, то запустите тест еще раз – с необходимыми правками и модификациями.

Б. Увеличение частоты тестирования: 

Хотя вы всегда должны быть осторожны при одновременном тестировании слишком большого количества элементов, увеличение частоты тестирования имеет важное значение для масштабирования вашей программы тестирования. Ваша команда по оптимизации должна будет спланировать это таким образом, чтобы ни один из тестов не повлиял на производительность других пользователей или вашего веб-сайта. Один из способов сделать это — одновременно запускать тесты на разных веб-страницах вашего веб-сайта или тестировать элементы одной и той же веб-страницы в разные периоды времени. Это не только увеличит частоту вашего тестирования, но и ни один из тестов не повлияет на другие. Например, вы можете одновременно протестировать по одному элементу на вашей домашней странице, странице оформления заказа и странице регистрации, а также другие элементы (по одному элементу за раз) на этих страницах после завершения текущего теста.

C. Интервал проведения теста: 

Это вытекает из предыдущего пункта. Если вы посмотрите на календарь выше, вы увидите, что в любую неделю пересекаются не более двух тестов. Стремясь увеличить частоту тестирования, не идите на компромисс с общим коэффициентом конверсии вашего сайта. Если у вас есть два или более критических элемента, которые нужно протестировать на одной веб-странице, расположите их отдельно. Как указывалось ранее, совместное тестирование слишком большого количества элементов веб-страницы затрудняет определение того, какой элемент больше всего повлиял на успех или неудачу теста. 

Допустим, вы хотите протестировать одну из целевых страниц вашего объявления . Вы сосредоточиваетесь на тестировании CTA, чтобы увеличить количество регистраций и баннеров, чтобы уменьшить показатель отказов и увеличить затрачиваемое время. Для CTA, на основании ваших данных, вы решаете изменить копию. Что касается баннера, вы решаете протестировать видео со статическим изображением. Вы запускаете оба теста одновременно, и в конце концов обе ваши цели будут достигнуты. Проблема здесь в том, что данные показали, что хотя количество регистраций увеличилось благодаря новому призыву к действию, видео (помимо снижения показателя отказов и увеличения среднего времени, проведенного на странице) тоже помогло в этом. Большинство людей, посмотревших видео, также подписались. 

Проблема теперь в том, что, поскольку вы не распределили два теста между собой, стало невозможно определить, какой элемент больше всего способствовал увеличению количества регистраций. Если бы вы лучше рассчитали время проведения двух тестов, можно было бы получить гораздо более важную информацию?

D. Отслеживание нескольких показателей: 

Обычно вы измеряете эффективность A/B-теста на основе одной цели конверсии и полностью доверяете этой цели, чтобы помочь вам найти выигрышный вариант. Но иногда выигрышный вариант влияет и на другие цели веб-сайта. Приведенный выше пример применим и здесь. Видео, помимо снижения показателя отказов и увеличения затраченного времени, также способствовало увеличению количества регистраций. Чтобы масштабировать свою программу A/B-тестирования, отслеживайте несколько показателей, чтобы получить больше преимуществ с меньшими усилиями.

Наличие тщательно построенного календаря помогает в значительной степени упростить работу. VWO имеет встроенную функцию создания календаря, известную как доска Канбан, которая помогает отслеживать ход ваших тестов на различных этапах. 

Каких ошибок следует избегать при A/B-тестировании?

A/B-тестирование — один из наиболее эффективных способов изменить бизнес-показатели в положительном направлении и увеличить приток доходов. Однако, как говорилось выше, A/B-тестирование требует планирования, терпения и точности. Глупые ошибки могут стоить вашему бизнесу времени и денег, которые вы не можете себе позволить. Чтобы помочь вам избежать ошибок, вот список некоторых наиболее распространенных ошибок, которые следует помнить при проведении A/B-тестирования: 

Ошибка № 1: не спланировать дорожную карту оптимизации

А. Неверная гипотеза: 

При A/B-тестировании перед проведением теста формулируется гипотеза. От этого зависят все последующие шаги: что следует изменить, почему следует изменить, каков ожидаемый результат и так далее. Если вы начнете с неправильной гипотезы, вероятность успеха теста уменьшится.

Б. Верить другим на слово: 

Конечно, кто-то еще изменил процедуру регистрации и увидел рост конверсий на 30 %. Но это их результат теста, основанный на их трафике, их гипотезе и их целях. Вот почему вам не следует размещать на своем веб-сайте результаты чужих тестов в том виде, в каком они есть: не бывает двух одинаковых веб-сайтов: то, что сработало для них, может не сработать для вас. Их трафик будет другим; их целевая аудитория может быть другой; их метод оптимизации мог отличаться от вашего и так далее.

Ошибка № 2: тестирование слишком большого количества элементов одновременно 

Отраслевые эксперты предостерегают от одновременного проведения слишком большого количества тестов. Совместное тестирование слишком большого количества элементов веб-сайта затрудняет определение того, какой элемент больше всего повлиял на успех или провал теста. Чем больше элементов протестировано, тем больше должен быть трафик на этой странице, чтобы оправдать статистически значимое тестирование. Таким образом, приоритезация тестов необходима для успешного A/B-тестирования.

Ошибка №3: ​​игнорирование статистической значимости

Если интуиция или личное мнение находят способ формулировать гипотезу или пока вы устанавливаете цели A/B-тестирования, скорее всего, это потерпит неудачу. Независимо от всего, успешен ли тест или нет, вы должны дать ему пройти весь путь, чтобы он достиг своей статистической значимости.

По какой-то причине результаты теста, хорошие или плохие, дадут вам ценную информацию и помогут лучше спланировать предстоящий тест.

Вы можете получить дополнительную информацию о различных типах ошибок, занимаясь математикой A/B-тестирования.

Ошибка №4: Использование несбалансированного трафика

Компании часто заканчивают тем, что тестируют несбалансированный трафик. A/B-тестирование следует проводить с соответствующим трафиком, чтобы получить значимые результаты. Использование меньшего или большего трафика, чем требуется для тестирования, увеличивает вероятность того, что ваша кампания потерпит неудачу или даст неубедительные результаты.

Ошибка №5: тестирование на неправильную продолжительность

В зависимости от вашего трафика и целей проводите A/B-тесты в течение определенного периода времени, чтобы достичь статистической значимости. Проведение теста в течение слишком длительного или слишком короткого периода может привести к сбою теста или получению незначительных результатов. Тот факт, что одна версия вашего веб-сайта кажется выигрышной в течение первых нескольких дней после начала теста, не означает, что вам следует отменить его раньше времени и объявить победителя. Проведение кампании слишком долго также является распространенной ошибкой, которую совершают предприятия. Продолжительность, в течение которой вам необходимо провести тестирование, зависит от различных факторов, таких как существующий трафик, существующий коэффициент конверсии, ожидаемое улучшение и т. д. 

Узнайте, как долго вам следует выполнять тест .

Ошибка №6: Неспособность следовать итеративному процессу

A/B-тестирование — это итеративный процесс, в котором каждый тест строится на результатах предыдущих тестов. Компании отказываются от A/B-тестирования после того, как их первый тест провалился. Но чтобы повысить шансы на успех следующего теста, вам следует извлечь информацию из последних тестов при планировании и развертывании следующего теста. Это увеличивает вероятность успешного прохождения теста со статистически значимыми результатами.

Кроме того, не прекращайте тестирование после успешного. Проверяйте каждый элемент повторно, чтобы создать наиболее оптимизированную его версию, даже если они являются продуктом успешной кампании.

Ошибка №7: не учитывать внешние факторы

Для получения значимых результатов испытания следует проводить в сопоставимые периоды. Неправильно сравнивать посещаемость веб-сайта в те дни, когда он получает самый высокий трафик, с днями, когда он является свидетелем самого низкого трафика из-за внешних факторов, таких как распродажи, праздники и т. д. Поскольку сравнение здесь не проводится между лайками, шансы прийти к незначительному выводу возрастают. Воспользуйтесь калькулятором значимости A/B-тестов VWO, чтобы узнать, были ли результаты, достигнутые вашим тестом, значимыми или нет.

Ошибка №8: Использование неправильных инструментов

С ростом популярности A/B-тестирования появилось множество недорогих инструментов. Не все эти инструменты одинаково хороши. Некоторые инструменты резко замедляют работу вашего сайта, а другие не тесно интегрированы с необходимыми качественными инструментами ( тепловые карты , записи сессий и т. д.), что приводит к ухудшению качества данных. A/B-тестирование с использованием таких неисправных инструментов может поставить под угрозу успех вашего теста с самого начала.

Ошибка №9: придерживаться простого метода A/B-тестирования

Хотя большинство оптимизаторов опыта рекомендуют начинать экспериментирование с проведения небольших A/B-тестов на своем веб-сайте, чтобы освоить весь процесс. Но в долгосрочной перспективе использование простых методов A/B-тестирования не сотворит чудеса для вашей организации. Например, если вы планируете полностью обновить одну из страниц вашего веб-сайта, вам следует использовать сплит-тестирование . Между тем, если вы хотите протестировать серию перестановок кнопок CTA, их цвета, текста и изображения баннера вашей страницы, вам необходимо использовать многовариантное тестирование.

Каковы проблемы A/B-тестирования?

Окупаемость инвестиций в A/B-тестирование может быть огромной и положительной. Это поможет вам направить ваши маркетинговые усилия на наиболее ценные элементы, выявляя точные проблемные области. Но время от времени вы, как оптимизатор опыта, можете столкнуться с некоторыми проблемами при принятии решения о проведении A/B-тестирования. Шесть основных задач заключаются в следующем:

Задача № 1: решить, что тестировать

Вы не можете просто проснуться однажды и решить протестировать определенные элементы по вашему выбору. Горькая реальность, которую сейчас начинают понимать оптимизаторы опыта, заключается в том, что не все небольшие изменения, которые легко реализовать, всегда являются лучшими, если учитывать цели вашего бизнеса, и часто не оказываются значимыми. То же самое касается и сложных тестов. Здесь в игру вступают данные веб-сайта и данные анализа посетителей. Эти данные помогут вам преодолеть проблему «незнания того, что тестировать» в вашем бесконечном скоплении дел, обычно указывая на элементы, которые могут оказать наибольшее влияние на ваши показатели конверсии, или направляя вас на страницы с самым высоким трафиком.

Задача № 2: Формулирование гипотез

В большом резонансе с первой задачей находится вторая задача: формулирование гипотезы. Вот тут-то и пригодится важность наличия в вашем распоряжении научных данных. Если вы проводите тестирование без надлежащих данных, вы можете потерять свой бизнес. С помощью данных, собранных на первом этапе (т. е. исследования) A/B-тестирования, вам необходимо выяснить, в чем заключаются проблемы вашего сайта, и выдвинуть гипотезу. Это будет невозможно, если вы не будете следовать хорошо структурированной и спланированной программе A/B-тестирования.

Задача № 3: фиксация размера выборки

Не многие оптимизаторы опыта являются статистиками. Мы часто совершаем ошибку, объявляя окончательные результаты слишком быстро, потому что чаще всего мы стремимся к быстрым результатам. Как оптимизаторы опыта, нам необходимо узнать о размерах выборки, в частности, насколько большим должен быть размер нашей тестовой выборки в зависимости от трафика нашей веб-страницы.

Задача № 4: Анализ результатов испытаний

С помощью A/B-тестирования вы станете свидетелем успеха и неудачи на каждом этапе. Однако эта проблема актуальна как для успешных, так и для неудачных тестов:

1. Успешные кампании: 

Замечательно, что вы провели два теста, и оба они дали статистически значимые результаты. Что дальше? Да, развертывание победителем, но что после этого? Что оптимизаторы опыта часто не делают или считают трудным, так это интерпретацию результатов тестов. Интерпретация результатов теста после его завершения чрезвычайно важна для понимания того, почему тест оказался успешным. Фундаментальный вопрос, который следует задать: почему? Почему клиенты вели себя именно так? Почему они так отреагировали на одну версию, а не на другие? Какие сведения о посетителях вы собрали и как их можно использовать? Многие оптимизаторы опыта часто испытывают затруднения или не могут ответить на эти вопросы, которые не только помогают вам разобраться в текущем тесте, но и предоставляют исходные данные для будущих тестов.

2. Неудачные кампании: 

Иногда оптимизаторы опыта даже не оглядываются назад на неудачные тесты. Они либо с трудом справляются с ними, например, рассказывая команде о проваленных тестах, либо понятия не имеют, что с ними делать. Ни один проваленный тест не считается неудачным, если только вы не извлекли из него урока. К неудачным кампаниям следует относиться как к столпам, которые в конечном итоге приведут вас к успеху. Данные, собранные в течение всего процесса A/B-тестирования, даже если в конечном итоге тест провалился, подобны неоткрытому ящику Пандоры. Он содержит множество ценных данных и идей, которые могут дать вам преимущество перед следующим тестом.

Кроме того, из-за отсутствия надлежащих знаний о том, как анализировать собранные данные, вероятность повреждения данных возрастает во много раз. Например: без наличия процесса не будет конца прокрутке данных тепловых карт или данных записи сеансов. Между тем, если вы используете для этого разные инструменты, то вероятность утечки данных при попытке их интеграции также возрастает. Вы также можете не получить какой-либо существенной информации, бесцельно блуждая по данным, и просто утонуть под ними.

Задача №5: Поддержание культуры тестирования

Одной из наиболее важных характеристик программ оптимизации, таких как CRO и A/B-тестирование, является то, что это итеративный процесс. Это также одно из основных препятствий, с которыми сталкиваются предприятия и оптимизаторы опыта. Чтобы ваши усилия по оптимизации были плодотворными в долгосрочной перспективе, они должны сформировать цикл, который примерно начинается с исследования и заканчивается исследованием.

Эта задача – это не просто вопрос приложения усилий или наличия необходимых знаний. Иногда из-за нехватки ресурсов компании редко или с перерывами используют A/B-тестирование и не могут разработать надлежащую культуру тестирования.

Задача 6. Изменение настроек эксперимента в середине A/B-теста

Когда вы запускаете эксперимент, вы должны полностью посвятить себя ему. Старайтесь не менять настройки эксперимента, не редактировать и не исключать цели теста, а также не экспериментировать с дизайном элемента управления или его вариацией во время выполнения теста. Более того, не пытайтесь также изменить распределение трафика по вариантам, поскольку это не только изменит размер выборки ваших вернувшихся посетителей, но и значительно исказит результаты вашего теста.

Итак, учитывая все эти проблемы, стоит ли проводить A/B-тестирование?

Судя по всем доказательствам и данным, доступным по A/B-тестированию, даже после этих проблем A/B-тестирование обеспечивает высокую рентабельность инвестиций. С точки зрения маркетинга, A/B-тестирование избавляет от догадок в процессе оптимизации. Стратегические маркетинговые решения становятся основанными на данных, что упрощает разработку идеальной маркетинговой стратегии для веб-сайта с четко определенными целями. Без программы A/B-тестирования ваша маркетинговая команда будет просто тестировать элементы случайным образом или на основе интуиции и предпочтений. Такое тестирование без данных обречено на провал.

Если вы начнете с хорошего веб-сайта и анализа данных о посетителях, первые три проблемы можно легко решить. Имея в своем распоряжении обширные данные о веб-сайте и посетителях, вы можете расставить приоритеты в своем портфолио, и вам даже не придется решать, что тестировать. Данные будут говорить все. Благодаря таким качественным данным в сочетании с вашим бизнес-опытом формулирование рабочей гипотезы становится всего лишь вопросом анализа имеющихся данных и принятия решения, какие изменения лучше всего подойдут для вашей конечной цели. Чтобы преодолеть третью проблему, вы можете рассчитать подходящий размер выборки для вашей кампании тестирования с помощью множества доступных сегодня инструментов.

Последние две проблемы связаны с тем, как вы подходите к A/B-тестированию. Если вы относитесь к A/B-тестированию как к итеративному процессу, половина четвертой задачи может оказаться вам даже не по плечу. А другую половину можно решить, наняв экспертов в этой области или пройдя обучение правильному анализу данных и результатов исследований. Правильный подход к решению последней задачи — направить ресурсы на наиболее критически важные для бизнеса элементы и спланировать программу тестирования таким образом, чтобы при ограниченных ресурсах вы могли построить культуру тестирования.

A/B-тестирование и SEO

Что касается влияния SEO на A/B-тестирование, Google прояснил ситуацию в своем блоге под названием «Тестирование веб-сайтов и поиск в Google» . Важные моменты из этого поста суммированы ниже:

Нет маскировки

Клоакинг — показ одного набора контента людям, а другого — роботу Google — противоречит нашим рекомендациям для веб-мастеров, независимо от того, проводите ли вы тестирование или нет. Убедитесь, что вы не решаете, проводить ли тест или какой вариант контента предоставлять, на основе пользовательского агента. Примером этого может быть всегда предоставление исходного контента, когда вы видите пользовательский агент «Googlebot». Помните, что нарушение наших правил может привести к понижению или даже удалению вашего сайта из результатов поиска Google – вероятно, это не желаемый результат вашего теста.

Используйте только 302 редиректы

Если вы проводите A/B-тест, который перенаправляет пользователей с исходного URL-адреса на вариант URL-адреса, используйте перенаправление 302 (временное), а не перенаправление 301 (постоянное). Это сообщает поисковым системам, что это перенаправление является временным – оно будет действовать только до тех пор, пока вы проводите эксперимент – и что им следует сохранить исходный URL-адрес в своем индексе, а не заменять его целью перенаправления ( тестовая страница). Перенаправления на основе JavaScript также получили зеленый свет от Google.

Проводите эксперименты в течение соответствующей продолжительности.

Количество времени, необходимое для надежного теста, будет варьироваться в зависимости от таких факторов, как уровень конверсии и объем трафика, который получает ваш сайт. Хороший инструмент тестирования должен сообщать вам, когда вы собрали достаточно данных, чтобы сделать надежные выводы. После завершения теста вам следует обновить свой сайт, добавив желаемые варианты, и как можно скорее удалить все элементы теста, такие как альтернативные URL-адреса или сценарии тестирования и разметку.

Используйте ссылки rel=»canonical»

Google предлагает использовать атрибут ссылки rel=»canonical» для всех альтернативных URL-адресов, чтобы вы могли подчеркнуть, что исходный URL-адрес на самом деле является предпочтительным . Это предложение связано с тем, что rel=»canonical» более точно соответствует вашему намерению в этой ситуации по сравнению с другими методами, такими как отсутствие метатега индекса. Например, если вы тестируете варианты страницы вашего продукта, вы не хотите, чтобы поисковые системы не индексировали вашу страницу продукта. Вы просто хотите, чтобы они поняли, что все тестовые URL-адреса являются близкими дубликатами или вариациями исходного URL-адреса и должны быть сгруппированы вместе с исходным URL-адресом в качестве главного. Иногда в таких случаях использование индекса вместо rel=»canonical» в такой ситуации может иногда иметь неожиданные плохие последствия.

Примеры A/B-тестирования

A/B-тестирование в медиа и издательской индустрии

Некоторыми целями медиа- и издательского бизнеса могут быть увеличение читательской аудитории и аудитории , увеличение количества подписок, увеличение времени, проводимого посетителями на веб-сайте, или увеличение просмотров видео и других частей контента с помощью социальных сетей и т. д. Вы можете попробовать протестировать варианты модалов подписки по электронной почте, рекомендуемого контента, кнопок обмена в социальных сетях, выделения предложений подписки и других рекламных вариантов.

Любой из нас, кто является пользователем Netflix, может поручиться за свои впечатления от потоковой передачи. Но не все знают, как им удается делать это так хорошо. Вот как: Netflix следует структурированной и строгой программе A/B-тестирования, чтобы обеспечить то, что другие компании с трудом могут обеспечить даже сегодня, несмотря на многочисленные усилия, — отличный пользовательский опыт. Каждое изменение, которое Netflix вносит на свой веб-сайт, перед внедрением проходит интенсивный процесс A/B-тестирования. Одним из примеров, показывающих, как они это делают, является использование персонализации.

Netflix широко использует персонализацию своей домашней страницы. На основе профиля каждого пользователя Netflix персонализирует домашнюю страницу, чтобы обеспечить максимальное удобство для каждого пользователя . Они решают, сколько строк будет размещено на главной странице и какие шоу/фильмы будут помещены в строки, основываясь на истории потоковой передачи и предпочтениях пользователей.

Они выполняют то же самое упражнение и с титульными страницами СМИ. На этих страницах Netflix персонализирует, какие заголовки мы, скорее всего, будем смотреть, миниатюры, которые мы видим на них, какой текст заголовка побуждает нас щелкнуть, помогает ли социальное доказательство облегчить наше решение и так далее. И это только верхушка айсберга.

A/B-тестирование в сфере электронной коммерции

С помощью A/B-тестирования интернет-магазины могут увеличить средний чек, оптимизировать воронку оформления заказа, снизить процент брошенных корзин и так далее. Вы можете попробовать протестировать: как отображается стоимость доставки и где, если и как выделяется функция бесплатной доставки, настройки текста и цвета на странице оплаты или странице оформления заказа, видимость отзывов или оценок и т. д.

В индустрии электронной коммерции Amazon находится на переднем крае оптимизации конверсий, отчасти из-за масштаба своей деятельности, а отчасти из-за их огромной приверженности обеспечению наилучшего качества обслуживания клиентов. Среди множества революционных практик, которые они привнесли в индустрию электронной коммерции, самой плодотворной стал «Заказ в 1 клик». Представленный в конце 1990-х годов после долгих испытаний и анализа, заказ в 1 клик позволяет пользователям совершать покупки вообще без необходимости использования корзины. 

После того, как пользователи введут данные своей платежной карты по умолчанию и адрес доставки, все, что им нужно сделать, это нажать на кнопку и дождаться доставки заказанных продуктов. Пользователям не нужно повторно вводить свои платежные данные и данные доставки при размещении заказов. Благодаря заказу в 1 клик пользователи стали не в состоянии игнорировать простоту покупки и перейти в другой магазин. Это изменение имело такое огромное влияние на бизнес, что Amazon запатентовала его (срок действия которого истек) в 1999 году. Фактически, в 2000 году даже Apple купила лицензию на ее использование в своем интернет-магазине.

У людей, работающих над оптимизацией веб-сайта Amazon, не случаются неожиданные моменты «Эврики» для каждого внесенного ими изменения. Именно благодаря непрерывному и структурированному A/B-тестированию Amazon может обеспечить тот уровень пользовательского опыта, который он обеспечивает. Каждое изменение на веб-сайте сначала тестируется на аудитории, а затем внедряется. Если бы вы обратили внимание на воронку покупок Amazon, вы бы поняли, что, хотя она более или менее повторяет воронки покупок других веб-сайтов, каждый ее элемент полностью оптимизирован и соответствует ожиданиям аудитории.

Каждая страница, начиная с главной страницы и заканчивая страницей оплаты, содержит только необходимую информацию и ведет к следующему шагу, необходимому для дальнейшего продвижения пользователей в воронку конверсии. Кроме того, используя обширную информацию о пользователях и данные веб-сайта, каждый шаг упрощается до максимально возможного уровня и соответствует ожиданиям пользователей.

Возьмем, к примеру, их вездесущую тележку для покупок.

В правом верхнем углу главной страницы Amazon есть небольшой значок корзины, который остается видимым независимо от того, на какой странице веб-сайта вы находитесь.

Значок — это не просто ярлык корзины или напоминание о добавленных товарах. В текущей версии он предлагает 5 вариантов:

• Продолжить покупки (если в корзину не добавлено ни одного товара)
• Узнайте о сегодняшних предложениях (если в корзину не добавлено ни одного товара)
• Список желаний (если в корзину не добавлено ни одного товара)

• Перейти к оформлению заказа (когда в корзине есть товары)
• Войдите, чтобы включить оформление заказа в 1 клик (когда в корзине есть товары)

Одним щелчком мыши по крошечному значку, предлагающему столько возможностей, когнитивная нагрузка пользователя снижается, и он получает отличный пользовательский опыт. Как видно на скриншоте выше, на той же странице корзины также предлагаются похожие продукты, чтобы клиенты могли вернуться на веб-сайт и продолжить покупки. Все это достигается одним оружием: A/B-тестированием.

A/B-тестирование в туристической индустрии

Увеличьте количество успешных бронирований на своем веб-сайте или в мобильном приложении, свой доход от дополнительных покупок и многое другое с помощью A/B-тестирования. Вы можете попробовать протестировать модальные формы поиска на домашней странице, страницу результатов поиска, презентацию вспомогательного продукта, индикатор выполнения заказа и т. д.

В туристической индустрии Booking.com легко превосходит все другие предприятия электронной коммерции, когда дело доходит до использования A/B-тестирования для оптимизации. Они тестируют так, будто это никого не касается. С момента своего создания Booking.com рассматривал A/B-тестирование как беговую дорожку, которая создает эффект маховика для увеличения доходов. Масштаб A/B-тестирования Booking.com не имеет себе равных, особенно когда речь идет о тестировании их копии. Пока вы читаете это, на сайте Booking.com проводится около 1000 A/B-тестов . 

Несмотря на то, что Booking.com проводит A/B-тестирование уже более десяти лет, они по-прежнему считают, что могут сделать больше для улучшения пользовательского опыта. И именно это делает Booking.com козырем в игре. С момента основания компании Booking.com включил A/B-тестирование в свой повседневный рабочий процесс. Они увеличили скорость тестирования до нынешнего уровня, исключив HiPPO и отдав приоритет данным прежде всего. А чтобы еще больше увеличить скорость тестирования, всем сотрудникам Booking.com было разрешено тестировать идеи, которые, по их мнению, могли помочь развитию бизнеса.

Этот пример продемонстрирует, на что Booking.com может пойти, чтобы оптимизировать взаимодействие своих пользователей с веб-сайтом. В 2017 году Booking.com решил расширить сферу своей деятельности, предлагая аренду жилья для отдыха наряду с отелями. Это привело к тому, что Booking.com заключил партнерские отношения с Outbrain, собственной рекламной платформой, чтобы помочь им расширить регистрацию владельцев недвижимости по всему миру.

В течение первых нескольких дней после запуска команда Booking.com поняла, что, хотя многие владельцы недвижимости прошли первый этап регистрации, они застряли на следующих этапах. В это время для процесса регистрации использовались страницы, созданные для платного поиска их собственных кампаний.

Обе команды решили работать вместе и создали три версии копии целевой страницы для Booking.com. К вариантам были добавлены дополнительные детали, такие как социальное доказательство, награды и признания, вознаграждения пользователей и т. д.

Тест длился две недели и привел к увеличению числа зарегистрированных владельцев на 25%. Результаты тестирования также показали значительное снижение стоимости каждой регистрации.

A/B-тестирование в сфере B2B/SaaS

Привлекайте высококачественных потенциальных клиентов для своего отдела продаж, увеличивайте количество запросов на бесплатную пробную версию, привлекайте целевых покупателей и выполняйте другие подобные действия, тестируя и оттачивая важные элементы вашего механизма формирования спроса. Чтобы достичь этих целей, маркетинговые команды размещают на своих веб-сайтах наиболее актуальный контент, рассылают рекламу потенциальным покупателям, проводят вебинары, организуют специальные распродажи и многое другое. Но все их усилия будут напрасны, если целевая страница, на которую перенаправляются клиенты, не будет полностью оптимизирована для обеспечения наилучшего взаимодействия с пользователем.

Целью A/B-тестирования SaaS является обеспечение наилучшего пользовательского опыта и повышение конверсии. Вы можете попробовать протестировать компоненты формы для потенциальных клиентов, процесс регистрации на бесплатную пробную версию, обмен сообщениями на главной странице, текст призыва к действию, социальное доказательство на главной странице и так далее.

POSist, ведущая SaaS-платформа для управления ресторанами с более чем 5000 клиентами в более чем 100 заведениях в шести странах, хотела увеличить количество запросов на демо-версии.

Домашняя страница их веб-сайта и страница «Связаться с нами» являются наиболее важными страницами в их воронке продаж. Команда POSist хотела уменьшить количество отказов на этих страницах. Для этого команда создала два варианта домашней страницы, а также два варианта страницы «Связаться с нами» для тестирования. Давайте посмотрим на изменения, внесенные на главную страницу. Вот как выглядело управление:

Команда POSist предположила, что добавление на веб-сайт более актуального и ориентированного на конверсию контента улучшит взаимодействие с пользователем, а также повысит конверсию. Поэтому они создали два варианта для сравнения с контролем. Вот как выглядели вариации:

Сначала контрольный вариант был протестирован с вариантом 1, и победителем стал вариант 1. Для дальнейшего улучшения страницы первый вариант затем был протестирован со вторым вариантом, и победителем стал вариант 2. Новый вариант увеличил количество посещений страницы примерно на 5%. 

Заключение

Прочитав эту подробную статью об A/B-тестировании, вы теперь должны быть полностью подготовлены к планированию собственной дорожной карты оптимизации. Старательно выполняйте каждый шаг и будьте осторожны со всеми крупными и мелкими ошибками, которые вы можете совершить, если не придадите данным того значения, которого они заслуживают. A/B-тестирование неоценимо, когда дело доходит до повышения коэффициента конверсии вашего сайта.

Если проводить A/B-тестирование с полной отдачей и с учетом имеющихся у вас знаний, оно может снизить многие риски, связанные с выполнением программы оптимизации. Это также поможет вам значительно улучшить UX вашего веб-сайта, устранив все слабые ссылки и найдя наиболее оптимизированную версию вашего веб-сайта.

Если это руководство показалось вам полезным, распространите информацию и помогите коллегам-оптимизаторам испытать A/B-тестирование, не попадаясь на наиболее распространенные ошибки. Приятного тестирования!

Часто задаваемые вопросы по A/B тестированию

Каково определение A/B-тестирования?

A/B-тестирование — это процесс сравнения двух вариантов элемента страницы, обычно путем проверки реакции пользователей на вариант A и вариант B и определения того, какой из двух вариантов более эффективен.

Что такое A/B-тестирование в цифровом маркетинге?

В цифровом маркетинге A/B-тестирование — это процесс одновременного показа двух версий одной и той же веб-страницы разным сегментам посетителей веб-сайта с последующим сравнением того, какая версия повышает конверсию веб-сайта.

Зачем мы проводим A/B-тестирование?

Есть разные причины, по которым мы проводим A/B-тестирование. Некоторые из них включают решение болевых точек посетителей, увеличение конверсий или потенциальных клиентов на веб-сайте и снижение показателя отказов. Пожалуйста, прочитайте наше руководство, чтобы узнать остальные причины.

Что такое A/B-тестирование и многовариантное тестирование?

При A/B-тестировании трафик распределяется между двумя или более совершенно разными версиями веб-страницы. При многовариантном тестировании несколько комбинаций нескольких ключевых элементов страницы сравниваются друг с другом, чтобы выяснить, какая комбинация лучше всего подходит для цели теста.