Технические особенности Персонализаций и A/B-тестирования (Вариокуб)

Вот о чём поговорим в этом блоке:

• Как устроены А/В-тестирование и Персонализации в интерфейсе Вариокуба
• Как сформулировать гипотезу для проверки
• Как вносить изменения на сайте с помощью Вариокуба
• Как проанализировать отчёты по результатам А/В-тестирования в интерфейсе Вариокуба
• Как запустить первый эксперимент в интерфейсе Вариокуба

Как устроены А/В-тестирование и Персонализации

В этом разделе рассмотрим, как выглядят А/В-тестирование и Персонализации в интерфейсе Вариокуба и чем они различаются между собой.

Напомним, Вариокуб представлен на двух платформах:

1. В интерфейсе AppMetrica — для работы с мобильными приложениями. Подробнее о том, как управлять конфигурацией и проводить А/В-тестирование в мобильных приложениях, вы можете прочитать в статье «Вариокуб для мобильных приложений»
2. В интерфейсе Яндекс Метрики — для работы с сайтом

В этом материале рассмотрим функционал Вариокуба на примере работы с сайтом.

Сервис состоит из двух разделов:

• Эксперименты — инструмент для проведения А/В-тестирования
• Персонализации — инструмент для изменения сайта под разные условия и аудиторию

Давайте рассмотрим особенности каждого раздела.

Начнём с экспериментов.

В этом разделе находятся все А/В-тестирования. Их можно отсортировать при помощи фильтра.

Для каждого эксперимента отображаются основные параметры:

• Статус эксперимента
• Варианты — контрольный и тестируемые
• Метрики для оценки эффективности эксперимента
• Аудитория, которая принимает участие в эксперименте

Чтобы создать первый эксперимент, подключите Вариокуб к своему сайту. Для этого перейдите по кнопке Код для сайта.

Есть несколько способов подключения Вариокуба к сайту:

1. Тег менеджеры. Подключить Вариокуб с помощью Яндекс Тег Менеджера можно по инструкции из Справки

1. JavaScript. Этот способ подключения позволяет проводить все типы экспериментов, как и при установке через Тег менеджеры. Для его подключения нужно скопировать несколько строк кода и добавить их в код сайта

1. API usersplit. Самый продвинутый вариант подключения, с которым понадобится помощь разработчиков. Он поддерживает только один тип внесения изменений — флаги. С помощью флагов разработчики могут вносить и тестировать любые изменения на сайт (как на фронтенде, так и на бекенде)

Узнать подробности о процессе подключения Вариокуба можно в Справке.

Проверить подключение к клиентской части можно с помощью блока внизу — Проверить подключение.

Когда Вариокуб подключён к сайту, можно заводить первый эксперимент. Как это сделать, рассмотрим в следующих главах.

Как сформулировать гипотезы для экспериментов в Вариокубе

Для начала разделим два понятия: идея и гипотеза.

Например, оформление страницы сайта. Но одного предположения недостаточно, чтобы сформулировать гипотезу.  

Чтобы сформулировать её, команде Продукта нужно ответить на два вопроса:

• Какое изменение вносим
• Какой результат ожидаем в итоге

Правильно сформулированная гипотеза позволит команде эффективно работать над её проверкой.

Рассмотрим формулирование гипотезы на примере.

Команда Продукта хочет изменить интерфейс мобильной версии сайта. Это звучит как идея. Чтобы превратить идею в гипотезу, нужно добавить в неё конкретные данные: какие элементы нужно изменить, какой результат ожидаем.

В этом случае гипотеза могла бы звучать так: если мы изменим цвет кнопки с белого на красный, количество кликов по ней увеличится на 10%.

Где можно найти идеи для гипотез?

Много идей можно подчерпнуть в разделе Метрики «Поведение», например в  «Карте кликов».

Карта отображает клики по всем элементам страницы, в том числе по некликабельным. При этом можно увидеть не только взаимодействие посетителей с одной страницей, но и агрегированные данные по группе страниц сайта. Например, получить статистику по конкретному разделу.

В Карте кликов можно увидеть, что привлекает внимание пользователей и по каким элементам сайта они чаще всего кликают (даже если они некликабельные).

Например, для лендинга Вариокуба разработан смелый дизайн с котиками и динозаврами. В Карте кликов видно, что пользователи часто кликали по элементам, которые были добавлены для красоты.

На основании этого команда Продукта сформулировала гипотезу: если сделать логотип кликабельным, то это улучшит пользовательский опыт и увеличит количество переходов на главную страницу на 20%. Это положительно скажется на метриках вовлечённости сайта.

Простая идея, которую можно проверить через А/В-тестирование в Вариокубе.

Таким образом, простейшие идеи, которые перерастают в успешные гипотезы, можно почерпнуть, например, в Карте кликов. А сформулировать правильную гипотезу и сделать сайт более эффективным можно с помощью формулы:

Как вносить изменения с помощью Вариокуба

В курсе «Сервис Вариокуб» мы рассмотрели, что в Вариокубе доступно пять способов внесения изменений на сайт:

• Визуальный редактор
• Редирект
• Флаги
• Рекламные блоки
• Виджеты

Теперь рассмотрим на примерах, как запустить А/В-тестирование и настроить Персонализации сайта для каждого типа внесения изменений.

Визуальный редактор

Визуальный редактор позволяет изменять на странице сайта:

• Текст страницы
• Изображения
• Ссылки
• Названия элементов, например кнопок
• Цвет текста или элемента, в том числе background
• Стили CSS
• HTML
• JavaScript

С помощью редактора можно менять внешний вид элементов. Когда вы сохраните и запустите правки, эти изменения увидят посетители, которые попали в эксперимент или для которых применяются Персонализации. До запуска изменения сможете увидеть только вы и те, кому вы отправите проверочную ссылку.

Визуальный редактор вносит изменения с помощью exp.js, который был добавлен на сайт при подключении.

Подробнее о визуальном редакторе можно прочитать в Справке.

Примеры использования:

• После анализа Карты кликов на лендинге специалисты команды Продукта поняли, что посетители часто кликают по тексту, в котором нет ссылки. И решили сделать элемент кликабельным, чтобы узнать, увеличит ли это конверсию и глубину просмотра
• Вы продаёте услугу, точная стоимость которой определяется после звонка менеджеру. Хотите проверить, увеличится ли конверсия по воронке и средний чек, если в карточку добавить минимальную цену «от X руб.»
• Команда Продукта запускает рекламную кампанию с промокодом СОВА и хочет проверить, вырастет ли конверсия в цель «Покупка», если на сайте будут скрыты все баннеры, кроме информации о промокоде

На последнем примере рассмотрим, как с помощью визуального редактора внести изменения на сайт.

1. Выберите «Визуальный редактор» в настройках эксперимента или Персонализации

1. Добавьте ссылку на страницу, где нужно внести изменения, и нажмите «Редактировать»

В появившемся блоке с редактированием можно внести нужные изменения, которые применятся к сайту.

В блоке есть несколько вкладок.

Во вкладке Basic можно менять:

• Текст (поле «Текст»)
• Ссылка (поле href)
• Цвет текста (поле color)
• Цвет поля элемента (поле backgroundColor)
• Размер текста (поле fontSize)
• Поле display. Позволяет взаимодействовать с выбранным элементом (показывать, скрывать, выравнивать его)

Например, display: none; — скрывает выбранный элемент, а block, inline, flex — разные способы выравнивания элемента.

Вкладки CSS, HTML позволяют вносить изменения напрямую в CSS и HTML. А вкладка JS позволяет работать с JS-скриптами. Эта функция не доступна по умолчанию, для её активации нужно включить параметр enableJS в setConfig.

→ Если элемент, который нужно редактировать, загружается после загрузки страницы, выберите «Редактирование по клику» во вкладке с иконкой гаечного ключа

→ Если ID элементов неуникальны, выключите «ID элемента в селекторе»

Подробнее об этом можно прочитать в Справке.

Чтобы скрыть рекламные баннеры на сайте, воспользуйтесь полем display на вкладке Basic.

1. Так как нам нужно скрыть все баннеры, кроме одного с промокодом СОВА, кликните по ним и в поле display выберите none
2. Перед сохранением убедитесь в том, что изменения внесены правильно. Выберите «Проверка изменений» на странице настройки эксперимента или Персонализации. Это доступно для всех типов экспериментов. Прочитать подробнее о проверке эксперимента можно в Справке

Когда лишние блоки скроются, на сайте останется только баннер с промокодом.

Редирект

Если для проведения эксперимента или настройки Персонализаций необходимо внести достаточно много изменений или полностью пересобрать страницу, можно настроить редирект с помощью Вариокуба. 

При таких настройках Вариокуб перенаправляет выбранных посетителей с помощью exp.js, который был добавлен на сайт при подключении.

Примеры использования редиректа:

• Команда Продукта делает редизайн сайта и хочет убедиться, что новый дизайн не снижает время на сайте и глубину просмотра, а увеличивает их
• Команда Продукта запускает рекламу и ведёт посетителей на разные посадочные страницы. Команда хочет узнать, какая из них приносит больше конверсий, чтобы затем перевести туда весь рекламный трафик. Такой эксперимент отличается от стандартного тестирования в рекламной системе. Можно не создавать дубль рекламной кампании, увеличивать бюджет и перезапускать уже рабочую стратегию

Чтобы проверить изменения с помощью редиректа или настроить Персонализации, достаточно добавить ссылку на изменённую страницу:

• При заведении эксперимента ссылку нужно добавить в поле «Вариант»

• При настраивании Персонализаций ссылка вставляется в «Параметры персонализации»

Подробнее о редиректе можно прочитать в Справке.

Флаги

Флаги подходят, когда нужно внести изменения любой сложности. Но для реализации понадобится помощь разработчиков.

Представьте, что у вас есть пульт управления умным домом. С его помощью вы можете включать и выключать свет в комнатах, регулировать температуру, открывать или закрывать шторы. Каждый переключатель на этом пульте — это и есть флаг. Он либо включён, либо выключен, и от этого зависит, что произойдёт в вашем доме.

В разработке сайтов флагами называются специальные метки или переключатели, которые встроены в программу. Они позволяют включать или отключать определённые функции без необходимости переписывать весь код. По сути, это как скрытые настройки внутри программы, которыми можно управлять.

Чтобы добавить флаги в код сайта, нужны разработчики, так как это связано с изменением исходного кода. Они должны прописать эти переключатели в нужных местах кода и определить, как программа должна реагировать на изменения флагов. Без знаний программирования и доступа к исходному коду добавить флаги в код сайта невозможно.

Флаги дают программе команду действовать определённым образом. Например, если флаг color = red — кнопка на сайте будет красной. Если флаг изменится на color = blue — цвет кнопки станет синим.

Использование флагов позволяет отслеживать, какие пользователи видят те или иные изменения, и применять разные сценарии, которые команда Продукта захочет проверить.

Флаг добавляется в настройках эксперимента и в параметрах Персонализаций.

Подробнее о флагах можно прочитать в Справке.

Рекламные блоки

С помощью этого типа изменений можно проводить эксперименты и настраивать Персонализации с рекламными блоками Рекламной сети Яндекса и Adfox:

• Сравнивать между собой типы блоков и блоки с разными настройками
• Тестировать изменение размеров и расположения блоков
• Оценивать, как добавление нового блока влияет на доход и пользовательские метрики

Пример использования:

• Команда Продукта хочет проверить, вырастет ли доход с РСЯ, если перенести рекламный блок выше и увеличить его в размерах

Подробнее о работе с рекламными блоками можно прочитать в Справке.

Виджеты

Виджеты подходят, например, когда нужно разместить информационные блоки с персональными предложениями, скидками или рассказать пользователям о новых возможностях сайта.

Для настройки доступны следующие типы виджетов:

• Баннер в углу
• Баннер на ширину экрана
• Баннер на всю страницу

Пример использования:

• Команда Продукта хочет привлечь дополнительное внимание к разделу «Распродажа». Для этого нужно сообщить пользователям, что наступил период сезонных скидок на товары.
• Команда Продукта хочет протестировать и сравнить разное оформление виджетов между собой, чтобы решить, какой тип виджетов привлекает внимание пользователей больше всего.

Подробнее о виджетах можно прочитать в Справке.

Метрики для анализа результатов А/В-тестирования 

В этом разделе поговорим о том, какие метрики можно использовать для анализа эксперимента. В Персонализациях мы не сравниваем варианты, поэтому выбор метрик для них неактуален и недоступен.

Когда команда Продукта проводит A/B-тестирование, цель заключается в том, чтобы достичь основной метрики и сохранить показатели связанных метрик.

Например, команда Продукта хочет увеличить конверсию, при этом не снизить время на сайте и не увеличить отказы.

Метрики помогают оценить результат эксперимента.

Существует несколько больших групп метрик:

1. Базовые метрики:

• Глубина просмотра
• Время на сайте
• Доля визуальных отказов

Эти метрики доступны всем пользователям Вариокуба по умолчанию.

2. Метрики конверсии в цель

Команда Продукта может создавать свои цели в Яндекс Метрике и анализировать эксперимент на основе конверсии в эти цели.

Например, это могут быть:

• Конверсия в шаг составной цели «Успешная заявка» (шаг 3 «Оформление заказа»)
• Конверсия в цель «Покупка»

3. Ecom-метрики

Если к сайту подключена электронная коммерция и данные о достижении ecom-целей собираются счётчиком Яндекс Метрики, Вариокуб может анализировать средний чек или процент визитов с покупкой.

Например:

• Долю визитов с покупкой
• Средний GMV на визит с покупкой
• Средний GMV на визит

4. Рекламные метрики

Если на сайте размещены рекламные блоки РСЯ или AdFox, Вариокуб может оценить доходы от них. Таким образом, команда может проводить эксперименты даже с рекламными блоками.

Возможные метрики:

• Рекламный доход на визит
• Рекламный доход на посетителя

Статистика А/В-тестирования: принципы взаимодействия с Метрикой

В этой главе рассмотрим, как проанализировать статистику А/В-тестирования, чтобы принять решение, применять или не применять изменение для Продукта.

Чтобы посмотреть отчёт по эксперименту, нужно нажать «Посмотреть результат» на вкладке «Эксперименты».

В верхней части отчёта содержится краткая информация об эксперименте:

• Название
• Период проведения
• Процент аудитории
• Регион проведения
• Платформа, на которой запущен эксперимент
• URL-фильтры для страниц применения эксперимента

Далее идёт поле с выбором названия метрики. Рассмотрим отчёт на примере метрики — Конверсия в цель «Покупка».

Отдельное поле отвечает за период построения отчёта.

С помощью фильтра можно ограничить выборку:

• Исключить роботов
• Исключить визиты с отказом
• Выбрать полные дни
• Выбрать достижение цели
• Выбрать платформы
• Выбрать источники трафика
• Выбрать операционные системы
• Выбрать пол
• Выбрать возраст
• Выбрать интересы

Для нашего примера исключим роботов.

На следующем блоке расположен график. На графике отображается значение метрики и доверительный интервал за каждый день.

Внизу страницы находится итоговый отчёт.

В этой части отчёта приведена сводная информация по каждому варианту эксперимента. Для каждого из вариантов показано значение метрики, которую оцениваем.

В первых столбцах таблицы находятся числитель и знаменатель для вычисления конверсии по этой метрике.

Следующий столбец — конверсия по выбранной метрике.В нашем примере в контрольном варианте А значение метрики Конверсия в цель «Покупка» равно 11,56%. Конверсия в варианте Б составила 35,75%, что выше, чем у варианта А.  

В правой части таблицы приведено сравнение экспериментального варианта с контрольным.

По этим данным мы видим, что Конверсия в цель «Покупка» варианта Б отличается от варианта А на 24,2 процентных пункта (дельта). При этом конверсия варианта Б на 209,34% выше, чем варианта А.

Кроме того, мы видим, что ячейки с показателями отмечены ярко-зелёным цветом. Это говорит о том, что выделенный вариант выиграл и его результаты статистически значимы.

Вариокуб подсчитывает статистическую значимость. Когда определяется статистически значимое изменение, строчка прокрашивается зелёным или красным цветом.

Зелёный цвет означает, что для варианта получен статистически значимый положительный результат.

Красный цвет означает, что для варианта получен статистически значимый отрицательный результат.

Ещё строки могут прокрашиваться в серый цвет, если статистически значимых изменений не обнаружено. Это может быть связано, например, с тем, что пользователи не увидели разницу между изменениями или что данных для анализа эксперимента не достаточно.

Чем более насыщенный цвет прокраса, тем выше статистическая значимость. В нашем примере прокрас ярко-зелёный, значит, метрика выросла, то есть количество покупок увеличилось.

В правой части таблицы находятся показатели, которые помогают проанализировать изменения значений:

• Доверительный интервал для контрольного и тестового варианта
• Значение P-value
• Значение параметра MDE

В верхней части панели управления можно менять метрики, которые вы рассматриваете. По умолчанию отчёт строится по основной метрике, которую выбрали при настройках эксперимента. Но можно выбрать и дополнительные, которые также задаются при настройке эксперимента, и произвольную метрику, по который вы хотите получить данные. 

Если выбирать и анализировать различные метрики и срезы эксперимента с помощью фильтров, можно оценивать, как изменения повлияли на поведение пользователей. Менеджер или маркетолог Продукта использует информацию по каждой метрике и срезу и на основе данных может принимать решение об изменениях для всех пользователей.

Как запустить А/В-тестирование

В этом разделе зафиксируем, что нужно для запуска А/В-тестирования.

Процесс запуска А/В-тестирования в каждой команде может различаться, но есть основные шаги, которые будут полезны для любого эксперимента.

Чек-лист для запуска А/В-тестирования будет выглядеть примерно так:

1. Гипотеза

2. Процент и длительность

3. Срез аудитории

4. Метрики

5. Внесение изменений

6. Оценка результатов

7. Решение

Рассмотрим каждый пункт подробнее.

1. Гипотеза

Рекомендуем внести проверяемую гипотезу в поля «Название» и «Описание», когда будете заводить эксперимент в Вариокубе. Так, в любой момент можно будет понять, какой эксперимент и для каких целей проводился.

 2. Процент аудитории и длительность

От этих параметров зависит, как долго будет проводиться эксперимент и какой процент аудитории должен принимать в нём участие, чтобы были получены статистически значимые результаты.

Для этого пункта есть два совета:

• Если вы хотите точно определить процент аудитории и длительность эксперимента для своего кейса, воспользуйтесь калькулятором в интерфейсе Вариокуба. Он поможет выбрать нужные параметры в зависимости от посещаемости сайта
• Если эксперимент нужно запустить уже сейчас и вы не хотите разбираться со сложными параметрами, можно провести эксперимент на 100% аудитории с длительностью в 14 дней. В этом случае 50% пользователям будет показан контрольный вариант сайта, а другим 50% аудитории — изменённый вариант

Почему именно 14 дней

Есть разные уровни сезонности: пользователи по-разному ведут себя днём и ночью, в будни и выходные, летом и зимой. Самая понятная сезонность — это будни и выходные. И период эксперимента в 14 дней покрывает два ожидаемых сезонных изменения. То есть за 14 дней два раза повторится цикл выходных, и данные, которые получатся в результатах, будут ближе к действительности.

3. Срез аудитории

Когда гипотеза сформулирована, нужно определить, для какой аудитории Продукт хочет показывать изменения.

Можно использовать разнообразные срезы аудитории, например:

1. Страницы применения эксперимента. Показывает изменения на определённых страницах
2. GET-параметры (параметры URL). Показывает изменения пользователям, которые, например, пришли с определённой рекламной кампании с определёнными UTM-метками в ссылке
3. Регионы (география). Показывает изменения пользователям, которые находятся в определённом городе или области
4. Платформы (мобильные, ПК и так далее). Показывает изменения пользователям, которые перешли на сайт с конкретного типа устройств
5. Пользовательские параметры. Показывает изменения пользователям с определённым свойством, которое известно фронтенду сайта. Например, можно показывать изменения только зарегистрированным пользователям со статусом «Премиум»

Для среза аудитории Вариокуб позволяет использовать не одно условие, а комбинацию параметров. Например, пользователь перешёл с какой-то рекламной кампании (в GET-параметрах есть определённая UTM-метка), он авторизован на сайте, и у него «Золотой статус» карты лояльности — и это передаётся в пользовательских параметрах.

4. Метрики

В настройках эксперимента Вариокуба можно выбрать основную и дополнительные метрики.

Основная метрика — это главная цель эксперимента.

Дополнительная метрика нужна, чтобы убедиться, что при улучшении основной метрики не ухудшаются другие, которые напрямую или косвенно связаны с основной.

В качестве основной метрики нужно выбирать то, ради чего команда Продукта проводит эксперимент.

Например, команда Продукта хочет сделать кнопку «Перейти к оформлению» на сайте более заметной. В этом случае основной метрикой будет клик по этой кнопке. А дополнительной метрикой будет, например, процент выкупа и возвращаемость.

5. Внесение изменений

Этот пункт мы рассматривали в предыдущих разделах, но ещё раз напомним, что с помощью Вариокуба можно вносить изменения с помощью:

• Визуального редактора
• Редиректа
• Флагов
• Рекламных блоков
• Виджетов

6. Оценка результатов

Между первыми пятью и шестым пунктами проходит время, которое команда Продукта выбрала на третьем шаге — в длительности эксперимента.

Когда установленное время прошло и пользователи увидели изменения и своим поведением повлияли на какие-то метрики, команда переходит к оценке результата.

Особенности статистики А/В-тестирования мы рассмотрели в предыдущем разделе. Напомним, что в интерфейсе Вариокуба оценивать результаты легко по цвету прокраса:

• Зелёный цвет — метрика значимо изменилась в лучшую сторону
• Красный цвет — метрика значимо изменилась в худшую сторону
• Серый цвет — статистически значимых изменений в метрике не обнаружено

А для более глубоко анализа в отчёте есть P-value и MDE.

Когда команда проанализировала результаты, она переходит к самому важному пункту — к принятию решений.

7. Принятие решений

В финале эксперимента команда Продукта анализирует, прошёл ли он удачно или стоит отправить его на доработку.

Если изменённый вариант в эксперименте выиграл по сравнению с контрольным, то команда может принять решение внести тестируемые изменения и показывать их всем пользователям. Это можно сделать двумя способами:

• Через разработчиков Продукта
• Через создание Персонализации

В интерфейсе Вариокуба в проведённом эксперименте в один клик можно создать Персонализацию и применить изменение на всех пользователей.

Важно отметить, что создавать Персонализации можно без запуска эксперимента. При этом настройки будут различаться только в названии:

• Типы экспериментов — внесение изменений в рамках А/B-тестирования (эксперимента)
• Параметры персонализации — внесение изменений в рамках создания Персонализаций

Чем Персонализации отличаются от А/В-тестирования:

• Не обязательно ограничение по времени — внесённые с помощью Персонализаций изменения могут применяться на сайте бессрочно
• В Персонализациях нет вариантов и доли аудитории, так как изменённые параметры применяются ко всем посетителям, которые указаны в условиях
• При создании Персонализаций не задаются метрики, так как в этом случае не проверяется эффективность внесённых изменений
• По тем же причинам в Персонализациях нет отчётов и калькулятора выборок

Дополнительную информацию о Персонализациях можно прочитать в статье «Сервис Вариокуб».

Создание эксперимента в интерфейсе Вариокуба

Перейдём в интерфейс Вариокуба и посмотрим, как создавать эксперимент. В видео ниже рассказываем только про три вида эксперимента, однако сейчас их стало больше. Обучающие материалы по новым видам уже готовятся — следите за новостями от Яндекс Рекламы.

Особые ситуации

В этой части поговорим о возможных особых ситуациях и способах их решения.

Существуют некоторые особые случаи:

• Мерцание
• Возврат изменений для некоторых шаблонизаторов (React)
• SPA-сайты

Эти ситуации могут обрабатываться Вариокубом с помощью отдельных механик. Например, чтобы эксперимент на сайте отображался корректно и без мерцаний исходного кода*, можно показывать страницу, только когда загрузятся изменения, заданные в эксперименте. Подробнее об этом в Справке.

Подробности о способах решения этих и других особых ситуаций можно найти в Справке.

*Когда пользователь переходит на страницу, где проводится эксперимент, на долю секунды он видит страницу без изменений. И сразу же она меняется на вариант с изменениями. Получается, есть секунда, когда страница «мерцает», сменяя один вариант на другой.

Практика

Выводы

• Вариокуб — это простой, но в то же время гибкий инструмент для проведения А/В-тестирования на сайте и в приложении. Также он позволяет создавать Персонализации на сайте и управлять конфигурацией в приложении
• Чтобы А/В-тестирование имело смысл, гипотеза должна формулироваться по формуле: гипотеза = действие + результат
• Вносить изменения на сайт с помощью Вариокуба можно через визуальный редактор, редирект, флаги, рекламные блоки и виджеты

• При анализе эксперимента можно ориентироваться на прокрас (зелёный, красный или серый) и/или смотреть на детальные статистические показатели
• При достижении основных метрик важно, чтобы показатели дополнительных метрик не ухудшались