Корпоративная RAG-платформа для Альфа-Банка

Главное о кейсе

Совместно с MLOps-командой Альфа-Банка мы разработали RAG-платформу для операторов контакт-центра. Система находит релевантную информацию в базе знаний и с помощью встроенной языковой модели формирует ответ на запрос оператора. AI-решение развёрнуто внутри контура банка и полностью соответствует требованиям информационной безопасности.

За четыре месяца проект вывели в эксплуатацию, затем масштабировали более чем на 12 000 операторов, а после — на всех сотрудников Альфа-Банка.

Результаты:

— поиск информации стал в 20 раз быстрее;
— среднее время обработки обращения сократилось на 13%;
— положительно опыт работы с платформой оценили 93% операторов.

Как проект изменил жизнь пользователей

До запуска платформы операторы вручную искали нужную статью в базе знаний, при необходимости переходили к первоисточникам и самостоятельно формулировали ответ. В среднем обработка одного обращения занимала пять минут.

Теперь RAG-платформа сама подбирает нужные данные в источниках и на их основе формирует ответ. База знаний AI-решения обновляется автоматически, поэтому сотрудники работают с актуальной информацией, что очень важно для финансового сектора. Операторы отметили, что платформой удобно пользоваться, а обработка обращений стала проще и быстрее.

Бизнес-задача и ее решение

Альфа-Банк обслуживает более 40 млн частных и 2 млн корпоративных клиентов. Операторы контакт-центр ежедневно решают десятки тысяч обращений по продуктам, тарифам и условиям кредитования. При таком объёме ручной поиск информации увеличивал время обработки каждого запроса и общую нагрузку на сотрудников.

Команда Альфа-Банка выдвинула гипотезу, что AI-решение позволит сократить время ответа клиенту на 30–40 секунд. Важно было обеспечить развёртывание внутри контура банка, полное соответствие требованиям информационной безопасности и удобство работы для операторов.

Для решения задачи мы выбрали RAG-технологию. Она позволяет подключить корпоративные источники, настроить поиск и получать ответ с помощью языковой модели. Платформа автоматически учитывает обновления материалов и использует только доступные сотруднику данные.

Крафт (мастерство), реализация, технические детали

Совместно с командой Альфа-Банка мы реализовали линейный RAG-пайплайн на базе модели Gemma 3. Сначала запрос оператора поступает в управляющий модуль, который координирует работу компонентов платформы. Текст запроса преобразуется в векторы — набор чисел, отражающих его смысл. Затем система находит похожий контекст в базе знаний и передаёт языковой модели. Также мы настроили обновление векторного хранилища: новые и отредактированные статьи автоматически попадают в систему.
По техническим требованиям платформа должна была выдерживать 7 запросов в секунду на двух видеокартах NVIDIA H100 и обрабатывать запрос не дольше 5 секунд. На первых нагрузочных тестах p90 составлял около 8 секунд. Это значит, что девять из десяти запросов система обрабатывала за это время, а каждый десятый мог занимать больше. Чтобы уложиться в требования без расширения инфраструктуры, мы разработали метод автоматического подбора параметров языковой модели. После оптимизации время сократилось до четырёх секунд, а платформа выдержала восемь запросов в секунду и превысила целевой показатель.

Для схожих обращений настроили кеширование. В системе сохраняется сформированный ответ и используется повторно, снижая нагрузку на видеокарты и время отклика.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

MLOps-команда Альфа-Банка и специалисты KTS работали над платформой совместно. До начала разработки мы зафиксировали бизнес-гипотезу, требования к скорости и нагрузке, ограничения инфраструктуры и дополнительную метрику — обратную связь операторов. Сначала решение запустили на пилотной группе из 100 сотрудников, после чего постепенно увеличивали количество пользователей.

Работа над проектом показала, что для соблюдения SLA необязательно расширять инфраструктуру. Производительность удалось повысить за счёт автоматического подбора параметров работы модели и кеширования. Платформа сохранила качество ответов и получила запас по нагрузке на имеющихся вычислительных ресурсах.

Ещё один вывод проекта связан с безопасностью: кеширование в корпоративной RAG-системе должно учитывать права каждого пользователя. Скорость имеет значение только при условии, что сотрудник получает информацию из разрешённых ему источников.

Также критически важны ответы по актуальным данным: если клиент получит нерелевантную информацию, это может привести к финансовым потерям и репутационным рискам. Поэтому важно было настроить автоматическое обновление базы знаний.

В результате платформа ускорила и упростила работу 12 000 операторов контакт-центра. После положительной обратной связи решение масштабировали на всех сотрудников Альфа-Банка.