Разработка ИИ помощника для консультаций по ФЗ-152

Главное о кейсе

Заказчик 152online консультирует операторов персональных данных. Цена неточного ответа - штраф клиента, иск от субъекта данных, потеря репутации. Мы построили ИИ-ассистента на RAG: модель отвечает только из проверенной базы знаний и не выдумывает факты.

За месяц заказчик получил рабочий микросервис. Он отвечает на вопросы через API, хранит историю диалогов и позволяет сотрудникам обновлять базу без разработчика.

Время ответа сократилось с 20 минут до 2-5 минут за счет быстрого поиска по базе кейсов с помощью разработанной ИИ-модели.

Как проект изменил жизнь пользователей

Конечные пользователи системы,- компании, которые работают с персональными данными и обязаны соблюдать строгие требования регуляторов. Они задают вопросы по 152-ФЗ через чат и получают ответ, основанный на базе знаний компании-консультанта.

До проекта такой функции не было. Оператор искал ответ сам по библиотеке материалов или рисковал получить приблизительный ответ в открытых и доступных нейросетях, где ошибка стоит штрафа. Теперь он получает ответ из проверенной базы и судебной практики, которую накопила компания.

Бизнес-задача и ее решение

Поставленная задача включала понятный набор функциональности: принимать вопрос через API -
искать релевантные фрагменты в базе знаний -
передавать контекст в модель - возвращать ответ в чат - учитывать тарифные лимиты - хранить историю диалогов. Также должна быть возможность управлять базой через админ-панель.

У заказчика была накопленная база знаний в Excel: вопросы, ответы, источники, судебная практика. Данные подходили для поиска информации, но не работали как продукт.
Бизнес-цель: превратить эти данные в ИИ-функцию внутри коммерческого сервиса при этом сохранить защиту информации и защитить от утечки в иностранные сервисы.

Решение: создан управляемый ИИ-контур, который работает на выбранной модели и выдает ответы пользователям на основе базы знаний. Заказчик может менять базу знаний, при этом модель самостоятельно добавит новые данные в ответы. Также система сама считает стоимость запросов и управляет тарифными планами.

Выручку, удержание клиентов и нагрузку на юристов заказчик не раскрыл. Эти показатели измерят эффект для бизнеса.

Крафт (мастерство), реализация, технические детали

Один запрос проходит так:
1. Чат передаёт вопрос в микросервис.
2. Микросервис ищет похожие фрагменты в базе через эмбеддинги — семантический поиск.
3. Сервис собирает фрагменты в контекст.
4. Модель отвечает только из переданного контекста.
5. Микросервис возвращает ответ через API.

Приложение собрали в контейнере, а не на Cloud Functions. Это дало контроль над развёртыванием и зависимостями. Архитектура: RAG поверх Yandex Cloud.

База знаний. Десятки кейсов в двух форматах Excel сервис конвертирует в единый JSON и хранит в Yandex Object Storage. Через админку сотрудник дополняет или перезаписывает базу, правит отдельный кейс и обновляет данные при изменении закона. Все это без разработчика.

Разработан уникальный экран оценки ИИ моделей. Команда экспертов готовит пары «вопрос - эталонный ответ». Модель прогоняет набор. Система сравнивает ответы автоматически по совпадению строк и вручную через интерфейс оценщика, затем считает качество, скорость и стоимость. Список моделей программист задаёт в коде, заказчик переключает их в настройках. Это позволяет выбирать лучшую модель в соотношении цена/качество ответа.

Полностью российская инфраструктура, так данные клиента не покидают страну. К тому же зарубежные модели блокируют российские карты и IP.

Отличие от рынка. Качество LLM на российском рынке чаще проверяют «глазами»: задают пять-десять вопросов и делают субъективный вывод о качестве. Мы разработали доказательную оценку моделей с конкретными цифрами и показателями. Так заказчик получает фактические аргументы для выбора модели и может рассчитать окупаемость масштабирования.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

1. Разработка промта затянулась, но это единственная задача, которая вышла за спринт. Без качественного промпта модель отвечала формально верно, но без практической пользы для оператора. Мы добились максимальной прикладной пользы от ответов, которые выдавала система.

2. Был разработан UX экрана оценки. Инструмент оценки качества моделей стал понятен человеку без технического бэкграунда. Теперь система выбора ИИ моделей удобна и основана на метриках, которыми может управлять оценщик.

Главный инсайт. Экран оценки моделей и просмотр диалогов не входили в первоначальный объём. Они выросли из практической потребности и стали ядром: заказчик может не просто запустить ИИ ассистента, а понимает, как он работает "под капотом". К тому же заказчик может масштабировать систему без привлечения сторонних разработчиков. При этом решение было разработано чуть больше, чем за месяц.

Прочая информация о кейсе

Что вошло в решение:
- backend-микросервис ответов;
- API для интеграции с чатом;
- тарифные лимиты;
- хранение истории диалогов и контекст для следующих вопросов;
- админка для управления базой;
- загрузка и нормализация Excel;
- RAG-контур с семантическим поиском;
- экран тестирования моделей и промптов;
- оценка качества, скорости и стоимости;
- просмотр статистики и прошлых диалогов.

Стек: Yandex Cloud, Yandex AI Studio, Yandex Object Storage, RAG, эмбеддинги, контейнерное приложение.