Обучили LLM для заказчика: повысили качество в среднем на 40%, автоматизировали ручные операции и добились экономии в 40 раз

Главное о кейсе

Наш заказчик разрабатывает LLM, а мы сотрудничаем с ним в качестве партнера, генерируем эталонные данные, а также руководим работой других подрядчиков и контролируем результаты их работы.
• В зоне нашей ответственности находятся 16 подрядчиков со штатом порядка 2 тыс. разработчиков
• С нашей стороны на проекте заняты 55 сотрудников, техлид и аккаунт-менеджер
• Мы сгенерировали и обработали 350 тысяч диалогов, что позволило отработать все наиболее популярные варианты использования LLM и предоставить качественные данные для дообучения.

Как проект изменил жизнь пользователей

Заказчик создает и обучает LLM, которая помогает разработчикам высокого грейда примерно на 30% быстрее выполнять рутинные задачи, а тем, кто только обучается программированию, помогает тратить на обучение в среднем на 20% меньше времени. LLM помогает оптимизировать готовый код и находить в нем ошибки быстрее и точнее, чем инструменты типа GitHub и GitLab.

Бизнес-задача и ее решение

Для дообучения генеративной модели требуется качественный датасет примеров использования этой модели — уникальные пары запросов и ответов, созданные экспертами.

1. По заданию заказчика специалисты Doubletapp создают эталонные обучающие данные.
2. Второй комплекс задач — верификация датасетов, сгенерированных подрядчиками, которые находятся в зоне нашей ответственности.
3. Команда работает проактивно: мы выявили, что в цепочке производства есть этапы, которые можно автоматизировать, повысить скорость выполнения и качество, а затем самостоятельно разработали решение для этого.
4. Проект растет, и заказчик нанимает много новых подрядчиков. Перед допуском к задачам новый сотрудник подрядчика проходит обучающий курс и сдает аккредитационный экзамен. Наши специалисты обеспечивают менеджмент этих процессов.

Крафт (мастерство), реализация, технические детали

1. Команда Doubletapp создает эталонные обучающие данные.
2. Команда Doubletapp работает над верификацией датасетов, сгенерированных подрядчиками заказчика. Специалисты разрабатывают инструкции, оценивают соответствие кода заданным требованиям, контролируют сроки выполнения, дают обратную связь.
3. Мы оптимизировали и автоматизировали процессы верификации. Чтобы задачи быстрее и без потерь в качестве проходили по производственной цепочке, стало меньше однообразного ручного труда и оставалось больше времени на доработку и обратную связь, специалисты Doubletapp разработали и внедрили автоматическую верификационную систему генерируемых данных.

***
В цепочку производства были включены подрядчики, которые генерировали датасеты, а их верификацию вручную выполнял один. Наши сотрудники замерили и проанализировали скорость работы и качество на этапе верификации — в час выполнялось по 2 задачи в среднем и примерно 70% результатов уходило на исправление. Специалисты Doubletapp предложили написать систему автоматической проверки с использованием LLM. Разработали MVP и провели proof of concept, выяснили, что автоматическое решение обеспечивает более 80% верных ответов, а компания-верификатор вручную — менее 50%.
Производственную цепочку изменили, компания-верификатор удалена из процесса. Мы пользуемся автоматизированным вариантом, при этом появилась другая активность — выборочная проверка 10% результатов для внесения корректировок и обратной связи.
***
Мы автоматизировали сбор статистики и ее рассылку. Сейчас это происходит с помощью бота, алгоритм фиксирует закрытые задачи и перепроверяет их готовность. Менеджеру не нужно договариваться о звонках, тратить время на разговоры и вносить данные вручную. Можно выгрузить информацию в удобном формате и работать в с ней. Автоматизация высвободила 10 часов рабочего времени в неделю.

4. Наши специалисты обеспечивают менеджмент найма и онбординга соискателей: готовят и записывают обучающие материалы на английском языке, отслеживают прогресс в работе, собирают статистику, проводят с подрядчиками регулярные синки.

ТЕХНОЛОГИИ
Виды работ: Data Analysis, ML, Web Development, Database Management, Software Development, Algorithms and Data Structures, Coding solutions evaluation, QA, Coding evaluation
Языки программирования: Python, JavaScript, Java, Go, Scala, C, TypeScript, Kotlin, C++, C#, Arduino, Swift, SQL

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Мы решили ряд проблем заказчика.

• Создаем эталонные датасеты.
• Занимаемся верификацией датасетов, разработанных всеми подрядчиками заказчика. После изучения статистики, пересмотра процессов и автоматизации количество брака уменьшилось на 40%
• Автоматизировали валидацию тасок, которые ранее оценивались вручную. После внедрения автоматизации выросла скорость прохождения задач по цепочке производства, появилась возможность дважды оценить и переработать одну и ту же задачу, цикл обратной связи стал быстрее в 2 раза, уменьшилось количество ручной работы и в 40 раз сократилась стоимость работ.
• Автоматизировали сбор статистики о работе подрядчиков — ранее менеджер тратил на звонки и согласования около 10 часов в неделю, теперь статистику собирает бот. С готовыми данными удобно работать, их можно сортировать и выгружать в удобном формате.
• Разработали и записали обучающие ролики для новых работников, а также автоматизировали аккредитационный экзамен перед допуском к задачам.
• Заказчик получил готовую готовую проактивную команду с техлидом и аккаунт-менеджером, которая сама инициирует улучшения, вносит предложения и распределяет задачи внутри, выдавая наружу готовые решения.

Прочая информация о кейсе

• Команда Doubletapp на этом проекте продемонстрировала и нарастила экспертность в разработке датасетов для LLM.
• Мы глубоко вникаем в производственные процессы заказчика, разрабатываем и внедряем решения, оптимизирующие и автоматизирующие ручной труд, а значит исключающие возможность ошибок и гарантирующие высокое качество и скорость.
• Мы еженедельно выводим на проект, онбордим и подключаем к работе в среднем трех специалистов.
• Мы разрабатываем обучающие материалы для выведения подрядчиков на проект, автоматизируем онбординг и тестирование.

Скриншоты