A/B-эксперименты в Директ Про

Этот материал посвящён A/B-экспериментам в Яндекс Директе — инструменту, который помогает рекламодателям тестировать гипотезы и оптимизировать рекламные кампании. 

Вы узнаете:

• Зачем проводить A/B-эксперименты и какие гипотезы можно проверить в рекламе
• Как правильно провести эксперимент и использовать отчёты
• Как настроить эксперимент и анализировать его результаты

Зачем нужны A/B-эксперименты и какие гипотезы можно проверить в рекламе

Представьте, что рекламная кампания в Яндекс Директе работает хорошо, но есть возможность сделать её ещё более эффективной. В таком случае важно понять:

• Как проверить структуру кампании
• Какие изменения настроек влияют на эффективность
• Какой креатив лучше использовать 

Один из подходов — просто изменить параметры кампании и посмотреть, что произойдёт. Однако у этой стратегии есть недостатки:

1. Риски для бизнеса. Если необоснованно вносить изменения в кампанию, это может привести к ухудшению её эффективности, что, в свою очередь, затронет все бизнес-показатели.

2. Неточные выводы. Когда параметры кампании меняются без эксперимента, сложно определить, что именно повлияло на результат. Без этих знаний невозможно прогнозировать эффект от изменений и строить новые гипотезы.Важно также учитывать, что результаты могут измениться из-за сезонных факторов.

Для проверки гипотез и поиска лучших решений используются A/B-эксперименты: 

• Позволяют тестировать изменения в рекламе на небольших группах аудитории
• Дают возможность проводить статистическое сравнение с исходным вариантом — без влияния на весь бизнес
• Помогают на практике выбрать наиболее эффективные варианты и принять решение на основе реальных данных.

Эксперименты в Яндекс Директе: как они работают

A/B-эксперименты можно проводить прямо в интерфейсе Директ Про, чтобы легко проверять гипотезы и получать точные результаты. 

Как провести эксперимент

Покажем, как правильно провести эксперимент и принять решение на основе результатов.

Шаг 1. Сформулируйте гипотезу и создайте тестируемые кампании

Прежде чем запускать эксперимент, важно чётко сформулировать гипотезу: какое изменение в кампании предполагается протестировать и какой результат ожидается от этого изменения.

Представим, что рекламодатель использует две разные посадочные страницы: на одной подробно расписаны преимущества продукта, а на другой информация подана кратко и лаконично. Возникает вопрос, какая страница эффективнее приведёт к конверсии.

На основе этой ситуации можно сформулировать гипотезу: «Использование страницы с кратким описанием даст больше конверсий, чем детализированная страница».

Чтобы проверить гипотезу, создайте две идентичные рекламные кампании, каждая из которых будет вести пользователей на разные посадочные страницы.

Шаг 2. Настройте и запустите эксперимент

После того как гипотеза сформулирована:

• Создайте эксперимент в интерфейсе и настройте его параметры.
• Запустите эксперимент и следите за его ходом, но избегайте преждевременных выводов. Убедитесь, что процесс идёт корректно, и дождитесь окончания эксперимента для анализа результатов. 

Шаг 3. Проанализируйте результаты и выберите подходящий вариант

Когда эксперимент завершится, важно решить, что делать дальше.В зависимости от результатов возможны следующие варианты действий:

• Принять гипотезу и внедрить изменения. Например, если результат показал, что одна посадочная страница действительно принесла больше конверсий, чем другая, гипотеза подтверждена. Изменения можно внедрить в тестируемую кампанию.
• Отклонить гипотезу и оставить всё как было. Если изменения не привели к улучшению показателей, гипотеза отклоняется. Кампанию оставляют без изменений.

Инструкция: как настроить A/B-эксперимент в Директ Про

Перед тем как запустить A/B-эксперимент, важно правильно настроить все параметры, чтобы получить точные результаты.

1. Создать новый эксперимент и указать его название.

2. Выбрать основную метрику на основе сформулированной ранее гипотезы.

3. Задать продолжительность эксперимента. 

Укажите, через сколько дней система напомнит вам принять решение по эксперименту – вы можете выбрать любой срок. По окончании этого периода эксперимент не завершится автоматически, а получит статус «Ожидает решения».

4. Выбрать один или несколько счётчиков.

Они помогут корректно отслеживать статистику. Кроме того, по счётчикам будут выбраны цели из следующего пункта.

5. Выбрать цели для конверсий.

Чтобы отслеживать конверсии, нужно выбрать одну или несколько целей — например, покупку, отправку формы или клик по заявке.

6. Добавить контрольный вариант.

Выберите необходимые рекламные кампании в контрольном и тестируемых вариантах. В каждый вариант можно добавить одну или несколько кампаний.

7. Запустить эксперимент или добавить его в черновик.

После запуска эксперимента система распределит аудиторию между кампаниями в зависимости от настроек эксперимента.

Если кампания не запущена, эксперимент запустит её.

Данные начнут собираться после успешного запуска эксперимента. Сначала можно следить за ходом эксперимента. Когда накопится достаточное количество данных, их можно будет проанализировать.Рекомендуем проводить эксперимент не менее недели — а лучше две, чтобы получить надёжные результаты.

Какие данные есть в отчёте A/B-эксперимента и что с ним делать

После запуска A/B-эксперимента в Яндекс Директе создаётся отчёт, который помогает принять решение на основе полученных данных. 

Результаты выводятся в удобном формате: они домножены до 100%. Это позволяет показать, как бы выглядел результат для 100% пользователей.

В отчёте используется цветовая шкала для отображения значимости результатов. Чем ярче прокрас, тем результаты более статистически значимы, а чем бледнее — тем эти изменения менее значимы.

Если ячейка закрашена, это значит, что результат отличается от контрольного варианта.

• Зелёный цвет показывает, что изменения улучшили результаты
• Красный цвет показывает, что изменения ухудшили результаты.

Как пользоваться отчётом

В отчёте по эксперименту можно увидеть:

Таймлайн эксперимента. В верхней части отчёта представлена временная шкала, которая включает:

• Дата запуска эксперимента.
• Дата, к которой все кампании в эксперименте будут иметь 7 дней показов.
• Рекомендуемую дату, когда соберётся достаточное количество данных, чтобы решить, продолжать или завершить эксперимент.

Результаты и метрики по вариантам. В отчёте по итогам эксперимента можно увидеть все протестированные варианты, кампании и метрики по ним. Это помогает понять, какой вариант или кампания показали лучшие результаты.

Прямо из отчёта можно завершить эксперимент и применить его результаты. При выборе определённого варианта эксперимента кампании в нём будут запущены на всю аудиторию, а рекламные кампании в других вариантах будут остановлены.

Для экспериментов с корректировками сначала остановите эксперимент, затем в настройках кампании вручную добавьте нужную корректировку. 

Также можно выбрать отдельные кампании эксперимента и запустить их на всю аудиторию, а ещё выбрать для запуска все кампании.

После запуска эксперимента лучше подождать две недели, чтобы получить результаты, но в некоторых случаях процесс может занять больше времени, если данных недостаточно. Далее вы можете перейти к анализу и просматривать отчёты. В интерфейсе будут отображены результаты подсчёта статистической значимости. Эти данные помогут принять решение по оптимизации кампаний.

Управление A/B-экспериментами в разделе Библиотека

В этом разделе можно добавлять новые эксперименты, а также перейти в отчёт для принятия обоснованных решений по оптимизации рекламных кампаний.

Здесь отображаются  запущенные и остановленные эксперименты, а также их статус. Есть поиск, где можно найти нужный эксперимент по названию.

Заключение

A/B-эксперименты в Яндекс Директе — это возможность без риска проверять новые идеи для рекламных кампаний. Вы можете тестировать изменения на небольшой аудитории, понять, как они влияют на результаты, и не бояться, что это повлияет на весь бизнес.

Интерфейс Директ Про позволяет легко управлять экспериментами, анализировать результаты в реальном времени и принимать обоснованные решения. 

Тестирование для самоповерки