Вариокуб для мобильных приложений

Этот материал посвящён управлению конфигурацией приложения и экспериментам в нём. Это можно делать с помощью Вариокуба — инструмента, который позволяет управлять приложением удалённо с помощью флагов. 

Вот о чём поговорим в этом блоке:

• Как управлять конфигурацией мобильного приложения удалённо
• Что нужно для проведения эксперимента в мобильном приложении
• По каким метрикам можно оценивать эффективность эксперимента в приложении
• Как запустить эксперимент в мобильном приложении с помощью Вариокуба

Как управлять конфигурацией мобильного приложения удалённо

Управление конфигурацией позволяет получать и применять переменные, которые необходимы для работы мобильного приложения. Например, если вы измените размер шрифта в конфигурации, текст в приложении станет крупнее или мельче.

Как выглядит стандартный процесс внесения изменений в мобильное приложение:

1. Внесение изменений. Сначала разработчикам нужно реализовать новую логику работы приложения
2. Сборка. Когда готов список планируемых изменений, разработчики собирают их в новую версию приложения
3. Публикация в магазин приложений. Новая версия приложения проходит процесс модерации и публикуется в сторе
4. Обновление у пользователей. Команда Продукта ждёт, когда пользователи загрузят новую версию приложения на смартфон и увидят изменения. После этого команда Продукта сможет оценить по косвенным признакам, как изменения влияют на поведение пользователей

На все перечисленные этапы требуется время. Чтобы сократить этот процесс, можно использовать методы удалённого управления конфигурацией.

Удалённое управление конфигурацией позволяет разработчикам создавать функции, которые контролируются флагами. А команде Продукта — управлять приложением со специального пульта и менять флаги. 

Приведём пример. Команда Продукта при разработке новой версии мобильного приложения заложила под флагами возможность отображения баннеров под определённые события. Например, баннер с поздравлением всех пользователей приложения с Новым годом и баннер для периода распродаж «Чёрная пятница» будут скрыты в новой версии. Но после выхода в релиз команда Продукта сможет запускать показ баннеров в нужный период без дополнительных обновлений.

Так, в случае удалённого управления конфигурацией разработчики реализуют новую логику работы приложения под флагом, а команде Продукта не надо ждать, пока пользователи обновят приложение. Изменения применятся сразу, после «включения» флага. 

Вариокуб — это инструмент, который позволяет управлять приложением удалённо.

Чтобы подключить Вариокуб, нужно встроить специальный SDK в код приложения Продукта, который будет получать флаги с сервера и раздавать их в различные функции внутри. Подробнее прочитать об этом процессе можно в Справке.

В чём особенности флагов:

• Позволяют управлять приложением без выпуска релизов
• Их использование нужно закладывать, когда разрабатывается функциональность приложения

Флаги позволяют:

1. Включать функциональность приложения целиком. Например:

• Включать функциональность к определённому событию: показывать всплывающий баннер с новогодним поздравлением 31 декабря и 1 января
• Кастомизировать приложение под разные категории пользователей: например, для пользователей со статусом «Премиум» отображать тёмную версию интерфейса
• Настроить размер скидки для каждого региона на покупки в приложении

1. Управлять параметрами функциональности и тонко настраивать определённые части интерфейса. Например можно менять:

• Цвет, текст кнопки
• Размеры элементов 
• Коэффициенты выпадения предметов в игре
• Расположение рекламного блока

1. Настраивать приложение для определённой аудитории. Например, можно запустить эксперимент только для пользователей из Москвы с операционной системой iOS

Как управлять конфигурацией приложения с помощью Вариокуба

Что можно делать в мобильных приложениях с помощью Вариокуба:

• Включать и выключать новый разработанный функционал без обновления приложения — для всей или выбранной части аудитории
• Проводить эксперименты. В результате эксперимента будет доступна статистика по показателям, которые помогают определить, какой вариант приложения нравится пользователям

Управлять конфигурацией приложения можно из раздела «Конфигурация флагов».

В этом разделе размещается список всех созданных флагов.

Кроме того, здесь можно найти возможные значения для них. Значений может быть несколько с применением заданных условий.

1/3

Одно значение для флага

1/3

Несколько значений для флага

Как создать флаг в интерфейсе Вариокуба

Для создания нового флага:

1. Нажмите кнопку «Добавить флаг»

2. Введите в диалоговом окне название — например, «text_buy»

3. Добавьте для этого флага значение по умолчанию — например, «Купить»

4. Сохраните новый флаг

Новый флаг будет отмечен синей точкой. Это означает, что новая версия конфига не применена. 

5. Чтобы опубликовать изменения и реальные пользователи их увидели, нажмите кнопку «Опубликовать конфиг». В появившемся диалоговом окне отобразятся изменения, которые были внесены в новую версию конфига.

В окне для публикации изменений видно, что добавился новый флаг со значением «Купить». После нажатия кнопки «Опубликовать» пользователи увидят изменения, которые были внесены с помощью этого флага.

А ещё можно сконфигурировать значение флага более детально. Что для этого нужно сделать: 

1. Разверните поле значения флага

1. Добавьте дополнительные значения, которые будут применяться при определённых условиях. Например, можно добавить значения, чтобы для пользователей, у которых основной язык — английский, значение созданного флага было написано на английском языке

Для этого введите новое значение для флага и выберите условие из списка.

При этом вы можете выбрать несколько условий для одного флага, например:

• Тип операционной системы
• Её версия
• Произвольные параметры — например, информация о статусе пользователя

Для нашего примера выберем условие «Языки — английский».

Когда пользователь сохраняет условия, в таблице отображаются все возможные значения для выбранного флага.

Если будет выбрано несколько значений, условия будут применяться в порядке приоритета: какое первое условие будет верным, такой флаг и сработает. Порядок приоритета в дальнейшем можно изменить.  

Например:

• Флаг 1 задан с условием показа на Россию
• Флаг 2 задан с условием показа на Россию + русский язык

Если в конфиге указан порядок «Флаг 2,  Флаг 1», то на Россию + русский язык покажется Флаг 2, на Россию и не русский язык покажется Флаг 1.

Если порядок будет следующий — «Флаг 1, Флаг 2», то на Россию покажется Флаг 1 с любым языком.

Чтобы активировать условия и новые значения для приложения, нужно опубликовать новую версию конфига. 

В интерфейсе Вариокуба можно управлять не только флагами, но и версиями конфигураций. Допустим, в разработке у команды Продукта версия №4 с набором флагов и условий. Разработчики добавляют в эту версию один или несколько новых флагов, публикуют и получают новую версию приложения №5. При этом команда Продукта может просматривать все предыдущие версии — №1, 2, 3, 4 — и при необходимости возвращать значение конфига на предыдущую.

Чтобы управлять версиями конфигураций, в текущих настройках нужно выбрать прошлую версию и подтвердить свой выбор.

При откате на предыдущую версию формируется новая версия, которая идентична выбранной.

Таким образом, можно откатывать неудачные изменения конфига.

Что нужно для проведения эксперимента в мобильном приложении

В этой части поговорим про А/В-тестирование и объясним, как его проводить с помощью флагов в конфигурации мобильного приложения.

Рассмотрим пример. Команда Продукта хочет показать части аудитории одно или несколько изменений в приложении и оценить, как эти изменения скажутся на поведении пользователей.

Схематично это можно представить так:

• А — исходная версия приложения (дефолт)
• В — версия приложения с изменениями

Чтобы проверить новую функциональность, представим, что Продукт раскатывает обновление на 10% пользователей (В). 

В этом случае, flag = A увидит 90% аудитории, flag = В увидит 10% аудитории.

При этом будет сравниваться поведение пользователей из группы, которая видит флаг В с 10% пользователей, которые видят флаг А. Таким образом, 80% аудитории не примут участие в сравнении метрик.

Для внесения изменений и передачи флагов используется Varioqub SDK. Для сбора логов и построения отчёта используется AppMetrica.

Поэтому для создания эксперимента в мобильном приложении должны быть подключены оба сервиса — Varioqub SDK и AppMetrica. Они взаимодействуют между собой без дополнительных настроек. 

 Что нужно для проведения эксперимента в мобильном приложении:

1. Продумать функциональность и сетап: что меняем и какие результаты ожидаем получить. Прочитать подробнее о том, как формулировать гипотезу, можно в материале «Технические особенности Персонализаций и A/B-тестирования»
2. Реализовать функциональность в приложении «под флагом» — так, чтобы работа функции зависела от значения флага
3. Завести флаги в конфигурацию, чтобы потом использовать их в конфигурациях и экспериментах
4. Создать эксперимент и указать условия: период показа, долю аудитории, длительность и процент пользователей. Подробнее про условия можно прочитать в Справке. Выбрать правильные параметры поможет калькулятор выборок
5. Дождаться окончания эксперимента и проанализировать метрики
6. Внедрить победивший вариант. Сделать новые значения частью конфигураций можно с помощью одной кнопки «Добавить флаги в конфиг» со страницы отчёта — под вариантом, который вы хотите добавить

По каким метрикам можно оценивать эффективность эксперимента в приложении:

Базовые метрики:

• Количество пользователей
• Количество сессий
• Средняя продолжительность сессии
• Timespent на пользователя

Метрики по пользовательским событиям:

• Конверсия в событие
• Конверсия из события в событие
• Пошаговая конверсия из события в событие

Ecommerce-метрики:

• Доход от покупок в приложении на пользователя

Рекламные метрики:

• Рекламный доход на пользователя

Как запустить эксперимент в мобильном приложении с помощью Вариокуба

В этом разделе посмотрим, как создать эксперимент в интерфейсе Вариокуба. 

Тест для самопроверки

Выводы

• Вариокуб — это инструмент, который позволяет управлять приложением удалённо с помощью флагов и проводить эксперименты в нём
• Флаги позволяют управлять приложением без дополнительных релизов
• В интерфейсе Вариокуба можно управлять версиями конфигураций — создавать новые и возвращаться на предыдущие
• Для создания эксперимента в мобильном приложении используется два сервиса

- Varioqub SDK для внесения изменений и передачи флагов

- AppMetrica для сбора логов и построения отчёта