Настройка аналитики для бизнеса при помощи облачных технологий Yandex Cloud

Главное о кейсе

Компания «Ростелеком» обратилась к нашей команде с запросом по настройке и автоматизации аналитики для проекта «Бизнес Драйв Академия».

Что было до того, как мы включились в работу?

— Счётчик Google Analytics собирал неточные данные.
— Для расчёта стоимости привлечённого пользователя сводили данные из нескольких источников вручную.
— Использовали различные сторонние сервисы, что требовало дополнительных затрат.

Всё это вызывало обеспокоенность руководства по поводу сохранности данных и информационной безопасности, не позволяло в полной мере получать актуальные данные.

Результаты

— Создали единый дашборд, в котором видна вся основная статистика в виде таблиц и диаграмм.
— Отразили основные метрики.
— Заказчик получил эффективный инструмент для работы с аналитикой без дополнительных затрат.

=== ENG ===

Rostelecom approached our team with a request to customize and automate analytics for the Business Drive Academy project.

What happened before we got involved?

– Google Analytics was collecting inaccurate data.
– We had to manually aggregate data from multiple sources to calculate the cost per engaged user.
– The client had to use various third-party services, which required additional costs.

All of this caused management concerns about data security and information safety and prevented them from getting up-to-date data.

Results

– Created a unified dashboard, where you can see all the basic statistics in the form of tables and charts.
– Reflected the main metrics.
– The customer received an effective tool for working with analytics without additional costs.

Как проект изменил жизнь пользователей

Как изменилась работа в компании?

Благодаря проделанной работе и объединению данных в СУБД ClickHouse мы выполнили основную задачу: определили источники и стоимость регистраций в различных срезах.

Визуализация в DataLens позволила руководителям проекта:

— экономить ресурсы команды при подготовке регулярной отчётности;
— оперативно отслеживать все ключевые метрики;
— контролировать показатели KPI;
— перераспределять бюджет между каналами и масштабировать успешные рекламные связки.

=== ENG ===

How has the work in the company changed?

Through the work we did and the merging of data in ClickHouse DBMS, we accomplished the main task of identifying the sources and value of registrations in different slices.

The visualization in DataLens allowed the project managers to:

– Save team resources when preparing regular reporting;
– Monitor all key metrics in a timely manner;
– monitor KPIs;
– reallocate budget between channels and scale successful advertising bundles.

Бизнес-задача и ее решение

Заказчик хотел получить инструмент, который позволит регулярно отслеживать актуальные данные:

— источники регистраций на платформе;
— количество регистраций в динамике;
— стоимость одного зарегистрированного пользователя;
— общие расходы и другие.

Каких целей хотел добиться заказчик?

— Получить эффективный инструмент по работе с аналитикой.
— Уйти от иностранной инфраструктуры, минимизировать риски внешней блокировки.
— Снять обеспокоенность по поводу уязвимости данных при передаче через внешние сервисы.
— Избежать дополнительных регулярных оплат различных сервисов.

Что мы сделали?

1. Установили счётчик «Яндекс Метрика» на сайты.
2. Установили счётчик AppMetrica в приложения iOS и Android.
3. Настроили конверсии в «Яндекс Метрике».
4. Настроили передачу параметров событий пользователей.
5. Создали и настроили кластер СlickHouse и базу данных.
6. Написали скрипты на Python.
7. Создали виртуальную машину через Compute Cloud, загрузили скрипты передачи данных и настроили их регулярный запуск.
8. Настроили визуализацию в DataLens, чтобы клиент получал итоговый результат анализа в виде дашборда.

Результаты

— Собраны в единый дашборд все данные компании для анализа любой сложности и глубины с минимальной задержкой.
— Сотрудники компании и руководство получили возможность отслеживать конверсию на всех этапах воронки и получать актуальные данные.
— Сократилось время на сбор и обработку статистических данных.

=== ENG ===

The customer wanted a tool that would allow them to track relevant data on a regular basis:

– sources of registrations on the platform;
– number of registrations in dynamics;
– cost per registered user;
– total costs and others.

What goals the customer wanted to achieve?

– To get an effective tool for working with analytics.
– Get away from foreign infrastructure, minimize the risks of external lock-in.
– Relieve concerns about the vulnerability of data when transmitted via external services.
– Avoid additional regular payments for various services.

What have we done?

1. Installed counter Yandex. Metrica on the sites.
2. Installed AppMetrica counter into iOS and Android apps.
3. Customized conversions in Yandex. Metric.
4. Customized transmission of user event parameters.
5. Created and configured the ClickHorse cluster and database.
6. Wrote scripts in Python.
7. Created a virtual machine via Compute Cloud, loaded the data transfer scripts and configured them to run regularly.
8. Configured visualization in DataLens, so that the client gets the final result of the analysis in the form of a dashboard.

Results.

– Combined all company data into a single dashboard for analysis of any complexity and depth with minimal latency.
– Company employees and management were able to track conversions at all stages of the funnel and receive the most up-to-date data.
– Time for collecting and processing statistical data was reduced.

Крафт (мастерство), реализация, технические детали

Основные условия для выбора сервиса:

— отказаться от использования дополнительных платных сервисов в цепочке передачи данных, в частности коннекторов для передачи расходов из рекламных систем;
— используемые инструменты не должны подвергаться риску отключения в связи с внешними событиями (санкциями или блокировками).

Для реализации проекта мы остановили выбор на Yandex Cloud. Платформа отвечает задачам заказчика и содержит весь комплекс совместимых инструментов: от сбора и хранения данных («Метрика», ClickHouse) до визуализации (DataLens).

У «Метрики» и AppMetrica есть и прямые интеграции с ClickHouse, что сильно упрощает решение ряда задач аналитики. Но передача некоторых необходимых нам данных, например расходов или profile.id, на момент работ не поддерживалась такими интеграциями, и нам пришлось прибегнуть к написанию скриптов.

Для передачи сырых данных из «Метрики» и AppMetrica в ClickНouse использовали скрипты на Python. Также для ухода от платных сторонних сервисов-коннекторов выгружали расходы из рекламных кабинетов с помощью Python.

=== ENG ===

The main conditions for choosing the service were:

– refusal to use additional paid services in the data chain, in particular, connectors for transferring costs from advertising systems;
– the tools used should not be exposed to the risk of disconnection due to external events (sanctions or blocking).

To implement the project we chose Yandex Cloud. The platform meets the customer's objectives and contains a full range of compatible tools from data collection and storage (Metrica, ClickHouse) to visualization (DataLens).

Metrica and AppMetrica also have direct integrations with ClickHouse, which greatly simplifies a number of analytics tasks. But the transfer of some of the data we needed, such as expenses or Profile.id, was not supported by such integrations at the time of the work, so we had to resort to writing scripts.

Python scripts were used to transfer raw data from Metrica and AppMetrica to ClickHouse. Python scripts were also used to unload expenses from advertising offices to avoid paid third-party connector services.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Как мы настроили аналитику для бизнеса при помощи облачных технологий Yandex Cloud?

После того как мы определились с платформой, команда приступила к основным этапам работы.

Что мы сделали?

1. Установили счётчик «Яндекс Метрика» на сайты.

В проекте используется 2 сайта:

— приветственный лендинг, на который привлекают новых пользователей;
— основная платформа с курсами, куда попадают пользователи после регистрации.

2. Установили счётчик AppMetrica в приложения iOS и Android.

3. Настроили конверсии в «Яндекс Метрике».

На какие конверсии обратили особое внимание?

— Переходы на ознакомительные уроки
— Переходы к регистрации
— Регистрация на платформе
— Просмотры уроков на платформе

4. Настроили передачу параметров событий пользователей.

Каждому зарегистрированному на платформе присваивается уникальный идентификатор пользователя (UserID) ➡ Передаём их в «Яндекс Метрику» как параметры визитов ➡ Связываем с ClientID «Яндекс Метрики».

5. Создали и настроили кластер СlickHouse и базу данных.

6. Написали скрипты на Python.

Что доработали?

— Передачу расходов из «Яндекс Директа» и рекламного кабинета «ВКонтакте» в ClickHouse.
— Передачу данных из «Яндекс Метрики» в ClickHouse.
— Передачу данных из AppMetrica в ClickHouse.

7. Создали виртуальную машину через Compute Cloud, загрузили скрипты передачи данных и настроили их регулярный запуск.

Как настроили регулярную выгрузку данных в ClickHouse?

— Создали виртуальную машину с помощью Compute Cloud — сервиса внутри Yandex Cloud для создания и управления виртуальными машинами.
— Загрузили на виртуальную машину скрипты передачи данных и настроили их запуск по расписанию.

8. Настроили визуализацию в DataLens, чтобы клиент получал итоговый результат анализа в виде дашборда.

Комплекс инструментов Yandex Cloud подходит и для гораздо более сложных сценариев бизнес-аналитики корпоративных данных. Нет рисков попадания инструментов и сервисов под санкции и влияние внешнеполитических событий.

Платформа данных Yandex Cloud позволяет:

— объединять все данные компании для анализа любой сложности и глубины с минимальной задержкой;
— размещать сайты и веб-сервисы в облаке для максимальной масштабируемости, отказоустойчивости и скорости работы.

При этом максимально обеспечиваются:

— сохранность данных при помощи автоматического резервного копирования и репликации данных;
— информационная безопасность, так как облако размещено в безопасном периметре трёх географических дата-центров (расположенных в России), соответствующих 152-ФЗ (высший уровень защищённости УЗ-1);
— скорость визуализации за счёт встроенной интеграции BI-системы DataLens от «Яндекса».

=== ENG ===

How did we set up analytics for the business using Yandex Cloud?

Once we decided on a platform, the team started the main stages of the work.

What we did?

1. Installed the counter Yandex. Metric on the sites.

The project uses 2 sites:

– a welcoming lending, which attracts new users;
– the main platform with courses, where users get after registration.

2. Installed AppMetrica counter in iOS and Android applications.
3. Customized conversions in Yandex. Metric.

What conversions did you pay special attention to?

– Conversions to introductory lessons
– Conversions to registration
– Registration on the platform
– Lesson views on the platform

4. Customize the transfer of user event parameters.

Each registered on the platform is assigned a unique user identifier (User ID) ➡ Transmit them to Yandex. Metrics as visit parameters ➡ Link them with ClientID of Yandex. Metrics.

5. Create and configure the ClickHorse cluster and database.
6. Wrote scripts in Python.

What has been finalized?

– Transfer of expenses from Ya.Direct and VKontakte advertising cabinet to ClickHouse.
– Transfer of data from Yandex. Metrics to ClickHouse.
– Transfer of data from AppMetrica to ClickHouse.

7. Created a virtual machine via Compute Cloud, downloaded the data transfer scripts and configured them to run regularly.

How did you configure regular data uploads to ClickHouse?

– Created a virtual machine using Compute Cloud — a service within Yandex Cloud for creating and managing virtual machines.
– Uploaded data transfer scripts to the virtual machine and configured them to run on a schedule.

8. We set up visualization in DataLens so that the client receives the final result of the analysis in the form of a dashboard.

The Yandex Cloud suite of tools is also suitable for much more complex scenarios of business analytics of corporate data. Without the risk of tools and services falling under sanctions and the influence of foreign policy events.

The Yandex Cloud data platform allows you to:

– combine all company data for analysis of any complexity and depth with minimal latency;
– host websites and web services in the cloud for maximum scalability, fault tolerance and speed.

While ensuring maximum:

– Data preservation. Provided by means of automatic data backup and replication.
– Information security. The cloud is placed in a secure perimeter of three geographical data centers (located in Russia), complying with 152-FZ (the highest level of security UZ-1).
– Visualization speed due to built-in integration of DataLens BI-system from Yandex.

Скриншоты

Видео