Автоматический сплит-тест на базе умных алгоритмов. Как работает, какая эффективность и где взять?

Классический сплит-тест или А/Б-тест — это когда половину трафика направляем на один лендинг, вторую половину на другой и сравниваем результаты. При этом, если один ленд конвертит хуже другого, мы получаем плохую конверсию и недополучаем профит сразу с половины аудитории. 

Конечно, это осмысленная и обоснованная жертва, которую арбитражники приносят Богу Связок. 

Но что если можно тестировать умнее? Находить лучший ленд динамически и существенно повысить процент аудитории, которая попадет на более конвертящую страницу? Тестировать сразу кучу лендингов? Что если можно тестировать автоматически, не загружая себе голову анализом результатов? 

Очевидно, что профит будет выше. Головной боли меньше. Но как это сделать? Погнали разбираться.

Теория игр и арбитраж трафика

В теории игр есть масса задач, которые лежат в основе кучи концепций во всех сферах жизни, включая экономику, бигдату, маркетинг etc. Но нам сегодня нужна лишь одна игра — задача о многоруком бандите.

В оригинале она сводится к тому, что есть несколько слот-машин и нужно понять как выбрать ту, где отдача выше всего. Замените игровой автомат на лендинг, а отдачу на конверсию и получите именно то, что нам нужно.

Решение в виде алгоритма выглядит примерно так:

1. Присваиваем всем лендингам конверсию 100%.
2. Алгоритм видит клик, отправляет юзера на рандомный ленд. Юзер не сконвертился в лид? CR лендинга уже 50%. 
3. При последующих кликах, алгоритм кидает аудиторию на ленд, где наивысший показатель конверсии. То есть тот лендинг, где конверсия 50%, получит следующий клик только когда остальные ленды из теста (у которых все еще дефолтный CR 100%) снизятся по показателям.
4. Повторяем бесконечное количество раз. 

Не совсем понятно? Согласен. Давайте проиллюстрируем:

Таким образом, мы нашли наиболее эффективный лендинг и пожертвовали минимумом трафика, извлекая максимальную конверсию из пула страниц. 

Какой инструмент на практике решает задачу сплит-тестирования умными алгоритмами 

В моих AlterCPA Pro и Red сплит-тест лендов настроен на базе такого умного алгоритма. Внутри зашита клоака, так что можно одновременно клоачить и проводить правильный сплит.

Есть одно отличие от классического алгоритма, разобранного выше: 15% трафика раскидывается рандомно по лендингам, что позволяет лучше диверсифицировать трафф и быстрее отловить изменение в конверсии. 

В качестве главного показателя, на основании которого алгоритм считает эффективность, можно выбрать один из 5 вариантов:

1. CR из клика в лид.
2. CR из клика в аппрув.
3. EPC (Earn Per Click).
4. Общий заработок.
5. Аппрув.

Я рекомендую выбирать именно EPC, так как это самая фундаментальная метрика, показывающая средний доход с 1 клика по лендингу. 

Алгоритм учитывается данные за 3 дня. Это дает гибкость, чтобы не тянуть данные, которые могут быть уже устаревшими. 

Недостатки функционала

Единственное «НО» — показатели эффективности учитываются по всему сплит-тесту целиком. Это значит, что внутри одного сплита отличаться должны только лендинги. Если замиксовать источники трафика, подходы в крео и тому подобное — получится сборная солянка данных, в которых даже гениальный алгоритм не разберется, не то что умный.

Решение простое. Если есть разные подходы/источники/etc — создаем разные сплиты с разными ссылками. 

Настройка 

Рассмотрим как правильно настроить умный сплит-тест внутри базового трекера AlterCPA Red, главная киллер-фича которого — демпинговые цены при мощном функционале. Даже в бесплатном тарифе есть все инструменты, включая умные сплиты.

Вывод

Теория игр прекрасно ложится в арбитраж трафик, что не удивительно. Достаточно применять грамотные инструменты и поиск связки будет стоить на 20+% дешевле, проходить быстрее, учитывать больше вариантов. 

Сложно переоценить сколько денег сэкономит использование такого подхода в сплит-тестировании. Надеюсь, вы так же как и я увидели всю красоту решения и существенно повысите свой профит.

Также рекомендую прочитать пост в моем блоге: Разрушаем стереотипы про Google и ошибку «Вредоносное ПО» — откуда берется, как фиксить и почему нет смысла винить клоаку.