Кейс: Разработка системы парсинга телеграм-каналов для лидогенерации в Битрикс24

Главное о кейсе

Клиент — компания, стремящаяся ускорить процесс лидогенерации, нуждалась в инструменте для мониторинга Телеграм-каналов с целью выявления потенциальных клиентов. Задача заключалась в разработке системы, способной анализировать сообщения в Телеграм-каналах на наличие запросов, которые компания может решить, идентифицировать релевантные сообщения, формировать лиды и автоматически добавлять их в CRM-систему Битрикс24 (коробка).

Как проект изменил жизнь пользователей

Благодаря разработанному модулю для Битрикс24 компания смогла значительно упростить процесс лидогенерации. Парсинг Телеграм-каналов позволил автоматически выявлять потенциальных клиентов по заданным критериям, что упростило работу отдела продаж и повысило эффективность процесса работы с лидами. Учёт ограничений и уникальности данных обеспечил стабильную и надежную работу системы. Также удалось собрать базу клиентов, которые на постоянной основе публиковали заявки, что позволило выстроить постоянное сотрудничество с такими клиентами.

Бизнес-задача и ее решение

Задача заключалась в разработке системы, способной анализировать сообщения в Телеграм-каналах на наличие запросов, которые компания может решить, идентифицировать релевантные сообщения, формировать лиды и автоматически добавлять их в CRM-систему Битрикс24 (коробка).

Крафт (мастерство), реализация, технические детали

Для начала был разработан алгоритм работы модуля с точки зрения пользователя. Он включает в себя несколько ключевых этапов:

1) настройка модуля: пользователь вносит необходимые данные через специальную форму. Параметры включают в себя:

ссылки на Телеграм-каналы, которые будут проверяться на наличие нужных запросов;
список ключевых слов, которые модуль будет искать в сообщениях внутри чатов;
список стоп-слов, при обнаружении которых сообщения будут отсеиваться как нерелевантные.
Кейс: Разработка системы парсинга телеграм-каналов для лидогенерации в Битрикс24
2) обработка лидов: при обнаружении сообщения, подходящего условиям, модуль автоматически преобразует информацию из сообщения в лиды. В Битрикс24 передаются само сообщение, ссылка на сообщение в чате, а также ссылка на аккаунт в телеграм.

*Лиды создаются автоматически с помощью через специальную сущность (смарт-процесс), которая была для этого создана.

Кейс: Разработка системы парсинга телеграм-каналов для лидогенерации в Битрикс24
Кейс: Разработка системы парсинга телеграм-каналов для лидогенерации в Битрикс24
После того как был определен алгоритм работы, началась разработка самого модуля. Его задачей стало выполнение ключевой функций, заложенной в алгоритме - парсинг Телеграм-каналов и передача данных в CRM.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Алгоритм работы модуля
1) Преобразование данных из телеграм-каналов в RSS или JSON формат.

В первой итеграции мы использовали онлайн-сервис https://tg.i-c-a.su/, который позволяет парсить данные из открытых каналов. С его помощью публичные Телеграм-каналы из списка, указанного в параметрах модуля, преобразуются в RSS или JSON формат для удобства работы модуля в дальнейшем. В результате получается набор данных из последних опубликованных 100 сообщений. Сейчас используемый сервис недоступен без VPN. Также его минусом была невозможность получения доступа к закрытым каналам. Поэтому мы использовали собственный API для Telegram на основе MadelineProto.

2) Извлечение сообщений.

При обращении к заданным ссылкам модуль извлекает необходимые данные. Из текста удаляются все теги/эмодзи для более точного анализа и более удобного отображения в Битрикс24.

3) Идентификация ключевых слов и фильтрация по стоп-словам.

С помощью регулярных выражений осуществляется поиск ключевых слов в извлеченных сообщениях. Если такие “ключевики” обнаружены, сообщение проверяется на наличие стоп-слов, чтобы исключить нерелевантный контент (техническая реализация также выполнена на регулярных выражениях). Если такие слова обнаружены, то сообщение исключается. Все подходящие сообщения собираются в массив, при этом система отслеживает, чтобы не происходило дублирования информации.

4) Передача данных в Б24 и формирование лидов.

После завершения процесса парсинга отфильтрованные данные передаются в Битрикс24. Поскольку модуль разрабатывался для коробочной версии Битрикс24, дополнительно настроили автоматическое формирование элементов, которые включили в разработанный специально для этого смарт-процесс. Ответственному отправляется уведомление о формировании нового лида (через роботов), чтобы тот своевременно успел его обработать.

Скриншоты