Медийка с настоящим ДРР 4% для мебельного бренда

Главное о кейсе

Сколько мы в итоге заработали?
Без раскрытия точных абсолютных цифр, около полугода эта РК была причиной ~15% выручки мебельного e-commerce из топ-20. При относительно небольших затратах. Соотношение затрат к дополнительной выручке — меньше 4%.

Achieved goals and KPIs following the launch

How much did we earn in the end?
Without disclosing the accurate absolute figures, this advertising campaign was the cause of ~15% of the revenue of furniture e-commerce from the top 20 within a six-month period. At a relatively low cost. The ratio of costs to additional revenue is less than 4%.

Бизнес-задача и ее решение

Давайте определимся с понятием “Результат”.

Результат РК — это деньги, которые мы заработали, и не заработали бы, если бы не запустили РК.

Как посмотреть эту величину в Google Analytics? На самом деле - никак.
При атрибуционных оценках мы теряем кросс-девайс цепочки. Вдобавок мы посчитаем людей, которые купили бы, даже если бы не наша реклама.

Мы решили пойти нетривиальным путем и начали эксперимент.

1. Строим контрольную группу. На них рекламу не запускаем, но ведут они себя как люди из таргета
2. Если группа из таргетинга покупает активнее контрольной - реклама работает

Возникает вопрос: “Как нам найти таких же людей, как те, на которых направлен таргетинг рекламы?” И при этом иметь возможность анализировать ситуацию по 2 группам: экспериментальной и контрольной.

Вариант 1. Геотест.
Запускаем эксперимент по схожим в исторической динамике регионам.

Вариант 2. Conversion lift.
Разделяем пользователей на «тех, кто может посмотреть», и «тех, кто не может» псевдослучайным образом. Например, запускаем рекламу только на тех, чей VK ID заканчивается на чётную цифру, а потом сравниваем их и «нечётных».

Здесь важно понять разницу между хорошим и плохим разделениями.

В разных условиях мы выбираем разное. Например, в геотесте возможно, что из-за уникальных для региона обстоятельств продажи резко выросла или упали. Объединяя несколько регионов, мы можем значительно исказить картину: эксперимент станет лучше контроля не из-за рекламы.
Когда мы объединяем тысячи пользователей случайным образом, поведение каждого конкретного пользователя не вносит решающего вклада.

Таким образом, в геотесте при разделении на регионы случайность в одном регионе дает искажение, заметное на общем фоне. А в случае с conversion lift разделение на пользователей приводит к тому, что случайные колебания по большей части сокращаются и практически не влияют на разницу между группами.

Все это можно проиллюстрировать примером про другого клиента - федеральную сеть пиццерий.

Клиент хочет вернуть пользователей, которые давно не делали заказов. Таких номеров миллионы.

- Пользователи делятся случайным образом на контрольную и экспериментальную группы
- Экспериментальная заливается в рекламные кабинеты Google, Яндекс и myTarget
- А потом смотрит по CRM, чем “эксперимент” лучше “контроля”

Чтобы понять, «кто из нашей базы не купил», нужно работать именно со своей базой. Также нужно привязывать каждую покупку к номеру телефона.

Что же делать? Использовать возможности крупных рекламных площадок (Google, Яндекс, myTarget). Они знают «в лицо» почти всех пользователей интернета и могут на своей стороне обеспечить разделение на группы и аналитику.

На примере Яндекса
Это недокументированная возможность, но Яндекс позволяет всем желающим получать аналитику подобного рода.
1. Создаём сегменты в продукте Яндекс.Эксперименты. Группы так и называем, «Эксперимент» и «Контроль». Если на группы никак не влиять, они будут вести себя одинаково (можете проверить, так ли это, за давние периоды)
2. Добавляем к кампаниям Директа только группу «Эксперимент». «Контроль» ни к чему не добавляем
3. Смотрим в Метрике отчёт Директ.Эксперименты
4. Сравниваем между собой не разные кампании, а целиком группы «Эксперимент» (где люди видят рекламу) и «Контроль» (где не видят)

Вот как это выглядит в деталях:

- Создаем эксперимент
Для простоты группы одинакового размера. Так не только доля покупателей, но и абсолютное количество продаж без влияния рекламы будет одинаковым.
- Прикрепляем к кампаниям Директа
Интереснее всего — к медийным или видеокампаниям, которые по post-view теряют значительную долю эффективности, а по postclick вообще выглядят, как неработающие. Таргетинг по сегментам эксперимента будет использован как условие типа “И” к остальному таргетингу (например, по интересам).
- Смотрим результат в Метрике
Отчёты этого типа склеены Яндекс.Криптой. Это отчёт не по кукам, а по людям. Если человек был в «Эксперименте» на одном устройстве (где смотрел рекламу), он будет в «Эксперименте» и на другом устройстве (где совершил конверсию). Каждый пользователь сайта, каждая конверсия относится либо к «Эксперименту», либо к «Контролю».

Что будет, если запустить рекламу?

Картина изменится. До рекламы выручка отличается на 1,5% (незначительно). Во время рекламы и сразу после неё выручка отличается на 14,8%, или на десятки миллионов рублей! Если бы не реклама, мы бы этих денег не получили. В период после рекламы и долётов выручка отличается всего на 1,7%.

В чем секрет успеха этой кампании?

1. Узкая сегментация по краткосрочным интересам к мебели и ремонту
2. Большое количество рекламных видео
3. Главный козырь MebelVia - доступность. Про это мы и говорили в креативах - экономим на складах, магазинах и продавцах, не экономим на качестве

The task and its solution

Let's define the term "Result".
The result of the ad campaign is the money that we earned, and we would not have earned it if we had not launched the ad campaign.
How to view this value in Google Analytics? In fact, there is no way.
With attribution assessments we lose most of the cross-device conversions. In addition, we will attribute some conversions to our ads that would exist even if we did not advertise.

We decided to go a non-trivial way and started an experiment.

1. We build a control group. We don't run ads on them, but they behave like people from the target audience
2. If the test group buys more actively than the control group, the ad works

Here the question arises: "How can we find the same people like those targeted by advertising?” And along with that be able to analyze the situation in 2 groups separately: test and control.
Option 1. Geotest.
We launch an experiment in some regions similar in their historical dynamics.
Option 2. Conversion lift.
We divide users into "those who can watch" and "those who can't" in a pseudorandom way. For example, we run ads only on those whose VK ID ends with an even number, and then we compare them with the "odd numbered" ones.

Here it is important to understand the difference between good and bad divisions.

We choose different things in different conditions. For example, in Geotest it is possible thatsales sharply increase or fall due to unique circumstances of the region. By uniting only several regions, we can significantly confuse the picture: the test will become better than the control not because of advertising.
When we unite thousands of users randomly, the behavior of each individual user does not contribute crucially.
Thus, in Geotest, in the division into regions, randomness in one region gives a distortion that is notable against the general background. And in case of conversion lift, the user-level division leads to the fact that random fluctuations are reduced for the most part and practically do not affect the difference between groups.

All this can be illustrated by an example about another client - the federal chain of pizzerias.

The client wants to return those users who have not made orders for a long time. There are millions of such phone numbers in the client’s CRM system.
• Users are randomly divided into control and testgroups
• The testgroup gets into advertising accountsof Google, Yandex and myTarget
• And then it monitors the CRM system to see how“test” is better than “control”
To understand "who of our clients did not make a purchase" we need to only advertise to our clients. It is also necessary to link each purchase to a phone number.

So what to do? To use possibilities of major advertising platforms (Google, Yandex, myTarget). They know "by sight" almost all Internet users and can provide division into groups and analytics on their side.

For example, Yandex.
This is an undocumented opportunity, but Yandex allows everyone to receive analytics of that kind.
- We create segments in the Yandex.Experiments product. That's what we call the groups, "Test" and "Control". If the groups are not influenced in any way, they will behave the same way (you can check it out if it is true for past periods)
- We add only the "Test" group to the Yandex.Direct campaigns. We don't add "Control" to anything
- We look through the Direct.Experiments report in Yandex.Metrica. Note that we do not compare different campaigns with each other, but rather the entire "Test" group (where people see ads) and "Control" group (where they do not see)

Here's how it looks like in detail:
• We make an experiment
For simplicity, the groups are of equal size. So not only the share of buyers, but also the absolute number of sales without the influence of advertising will be the same.
• We attach it to Yandex.Direct campaigns
The most interesting thing is to do it to media or video campaigns, which lose a significant share of efficiency if measured by “post-view”, and which look like non-working if measured by “postclick”. Targeting by experiment segments will be used as an “And" condition with the rest of the targeting (for example, with interests).
• We look at the result in Yandex.Metrica

Reports of this type are based on splices by Yandex.Crypta. This is a report not on cookies, but on people. If a person was in the "Test" on one device (where they watched ads), they will be in the "Test" on another device (where they made the conversion). Each user of the site and each conversion refer either to the "Test" or to the "Control".

What happens if you run ads?
The picture will change. The revenue differs by 1.5% (slightly) before advertising. During advertising and right after it, the revenue differs by 14.8%, or tens of millions of rubles! If it weren’t for advertising, we wouldn't have received the money. During the period after advertising and additional conversions after, revenue differs by only 1.7%.

What is the secret of the campaign’s success?
1. Narrow segmentation by short-term interests in furniture and repair
2. A large number of promotional videos
3. The main trump card of MebelVia is affordability. This is what we talked about in creatives, namely, we save on warehouses, stores and sellers, we do not save on the quality.

Прочая информация о кейсе

MebelVia.ru — наш давний клиент и партнёр. Это единственная фабрика в России, которая специализировала свое производство для распространения товаров через интернет.

Работает с агентством Profitator с 2014 года, более 30 тыс. товаров, позиционирование – мебельный дискаунтер.

Бывают такие ситуации, когда средства классического performance исчерпаны, а результат необходим. Что делать в таком случае? Мы решили использовать нетривиальный подход и технологические решения, до которых не смогли додуматься остальные.

Description

MebelVia.ru is our long-time client and partner. It is the only factory in Russia that specialized its production for e-commerce distribution of the goods.
It has been working with the Profitator agency since 2014, there are more than 30 thousand products, and its positioning is a furniture discounter.
There are situations when the result is necessary but the means of classical performance are exhausted. What should we do in this case? We decided to use a non-trivial approach and technological solutions that others could not figure out.

Скриншоты