PanteonOS — умная база знаний на основе технологий LLM и RAG

Главное о кейсе

Глобальная задача: создать ИИ-ассистента, который бы отвечал на вопросы сотрудников Технократии о компании и внутренних регламентах.

Для решения этой задачи мы разработали веб-версию чат-бота, который работает на основе технологий LLM и RAG. Чтобы чат-бот отвечал более качественно мы оцифровали все внутренние регламенты, документы и описание процессов, чтобы сделать из этой информации векторную базу знаний. Нейросеть обращается к векторной БД и дополняет контекст изначального запроса, чтобы сгенерировать качественный ответ.

Сейчас эта система помогает нам быстрее адаптировать новых сотрудников, а также разгружать HR-менеджеров и системного администратора от ответов на типовые вопросы сотрудников.

Как проект изменил жизнь пользователей

С внедрением умной базы знаний пользователи теперь не теряются в ссылочной массе с описанными регламентами, а задают свои вопросы в чат-боте, где получают сокращенную и полную версию ответа.

Этот инструмент помог нам снизить нагрузку на HR-менежеров, лидов и системного администратора, которые раньше отвечали на вопросы сотрудников лично.

Бизнес-задача и ее решение

Задача: разработать интеллектуального помощника, который будет предоставлять информацию сотрудникам Технократии о компании и её внутренних правилах.

Решение: создан с нуля чат-бот, похожий на ChatGPT или GigaChat, который заточен на генерацию ответов о процессах Технократии. Чат-бот получает вопрос, который дополняется контекстом из векторной базы данных, отправляет его в LLM, которая генерирует контекстно верный ответ и отправляет его пользователю.

Для бизнеса этот проект стал шоу-кейсом, который демонстрирует экспертизу компании в разработке ИИ-ассистентов. При помощи этого кейса компания получила несколько лидов на разработку ИИ-продуктов.

Крафт (мастерство), реализация, технические детали

Умная база знаний работает на основе технологии RAG (Retrieval Augmented Generation) — это подход к работе с большими языковыми моделями, при котором пользователь формулирует свой вопрос, а система автоматически добавляет дополнительный контекст из внешних источников в запрос. Таким образом, языковая модель получает более широкий и точный контекст для обработки и формирования ответа.

Если к LLM добавить RAG-модуль, то на вопрос о Технократии наш ассистент будет отвечать не про форму правления, а про ИТ-компанию из Казани.

Как работает генерация ответа на основе RAG:

1. Для начала вся наша база знаний должна быть разбита на смысловые куски текста, которые дата-сайентисты называют чанки.

2. Эти куски текста превращаются в набор чисел (векторов), которыми система кодирует смысл данного текста.

3. Все оцифрованные куски текста собираются в специальную базу данных и объединяются по смыслам. Это нужно для того, чтобы система могла искать наиболее подходящие по смыслу куски текста.

4. Когда пользователь пишет текстовый запрос, то он превращается в набор чисел. Такой оцифрованный запрос сравнивается с базой данных и подбирается наиболее подходящий кусок из базы знаний.

5. Самый подходящий по смыслу кусок из базы данных «подмешивается» в изначальный запрос пользователя и передается в LLM. То есть, языковая модель на входе получает не только запрос пользователя, но и дополнительный контекст.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Чтобы подготовить векторную базу данных мы подняли все описания наших регламентов, процессов и другой важной информации о компании.

Итогом этой работы стал документ объемом в 500+ страниц текста и изображений, который был передан инженерам для настройки RAG-системы.

Текущая доступность работы

Сервис доступен только с IP-адресов, закрепленных за офисом компании.

Скриншоты

Видео