Как Работа.ру научила искусственный интеллект описывать вакансии?

Главное о кейсе

По данным опросов Работы.ру, поиск подходящих вакансий — самый сложный этап трудоустройства. Проблемы здесь отметили 69% опрошенных соискателей. Неправильное или неточное описание замедляет и усложняет подбор, из-за чего растет стоимость закрытия вакансии.
Оказалось, что многие рекрутеры плохо справляются с одной из рутинных задач — составлять короткие саммари вакансий с ограниченным количеством знаков. Поэтому некоторые предложения о работе выглядели как описания товаров на AliExpress.
Чтобы помочь компаниям быстрее находить сотрудников, а соискателям — работу, мы научили искусственный интеллект преобразовывать подробные описания в более короткий и емкий формат...
Новая разработка ML-команды Работы.ру создает понятное и информативное описание вакансии максимум из 200 символов (техническое ограничение продукта). И это описание видит соискатель при поиске подходящих предложений на главной странице сервиса. Текст содержит только ключевую информацию о работе и делает вакансии отличными друг от друга на этапе общей выдачи.

Для этого использовались технологии обучения, аналогичные тем, которые применили OpenAI для создания ChatGPT. Кроме того, мы первыми в России внедрили в HR tech — продукт модель саммаризации, обученную с применением RLHF.
После внедрения новой ML-модели мы получили дневной прирост в среднем на 16 тысяч просмотров и примерно на тысячу дополнительных откликов.

Как проект изменил жизнь пользователей

В условиях дефицита кадров среди массовых профессий скорость найма становится критически важным показателем для бизнеса. Прирост дополнительных просмотров и релевантных откликов за счет саммаризации вакансий помогает соискателям быстрее находить лучшие предложения, а бизнесу — быстрее подбирать специалистов и закрывать вакансии.

Бизнес-задача и ее решение

Бизнес-задача: увеличить конверсии в просмотр вакансий и в отклик.
Вакансии на массовые профессии очень похожи. Вакансии на позицию водителя в компаниях «Ромашка» и «Гладиолус» практически не различаются — это замедляет выбор, усложняет поиск работы, а как следствие, влияет на скорость закрытия вакансий.
Наша гипотеза заключалась в следующем: грамотное описание вакансии, которое отображается в поисковой выдаче, может сильно увеличить конверсию в отклик. Саммари — возможность выделиться среди множества предложений о работе и привлечь внимание соискателей, а значит, заинтересовать больше кандидатов.
Но описывать вакансии с ограничением в 200 символов сложно даже профессиональному копирайтеру. Поэтому мы создали и внедрили языковую модель, обучив ее по примеру ChatGPT: она может на основе уже описанной вакансии сделать более короткий, но всё же информативный вариант для для главной страницы сервиса..
Подтверждение гипотезы мы получили уже в рамках первого А-/B-теста. Конверсии в просмотр вакансии и в отклик выросли. После внедрения новой ML-модели мы получили дневной прирост в среднем на 16 тысяч дополнительных просмотров и примерно на тысячу дополнительных откликов.

Крафт (мастерство), реализация, технические детали

При создании нашей нейросетевой модели мы опирались на опыт OpenAI, который обучал ChatGPT с использованием обратной связи от человека для улучшения качества генерации текста. Для обучения нашей собственной нейросети мы сгенерировали несколько тысяч кратких описаний вакансий. Далее настроили reward-модель на задачу ранжирования и, используя эту модель, обучили нейросеть генерировать только качественные краткие описания.

Для обучения и работы используется внутренний кластер, содержащий видеокарты NVIDIA Tesla.

А если подробнее…

В основу нашей ML-модели мы положили языковую модель ruT5-base, которая отлично умеет работать с новостями, но не с вакансиями. Это значит, что описание вакансий у такой модели было слишком абстрактным и не содержало релевантной для соискателя информации о самой работе.

Для работы над нашей моделью мы начали собирать дата-сет. Сгенерировали 50 тысяч саммари от 150 до 500 символов. Используя классические методы экстрактивной саммаризации, перефразировали 25 тысяч вакансий и смогли уложиться в 200 символов. Еще пять тысяч вакансий разметили вручную.

На этапе supervised fine tuning модель научилась делать качественные саммари с учетом нашей специфики. Менее 1% составляли галлюцинации и другие неточности, но их удалось обнаружить и исправить с помощью обычной модерации.

Метод RLHF позволил нам научить нейросеть генерировать текст, который понравится пользователю. А специфика наших данных позволила оценить качество саммари на основе обратной связи от рекрутера и обучить нашу ML-модель.

A-/B-тестирование показало первые позитивные результаты для бизнеса.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Выяснилось, что краткое описание вакансий — сложная задача даже для опытного копирайтера, и это еще раз доказало нам важность данной разработки для бизнеса.

Первое, на что обращают внимание синие воротнички при поиске работы, — условия труда. Например, представителям рабочих специальностей важно наличие спецодежды и ее качество, а охранникам — температура помещения, в котором предстоит работать. Поэтому правильно составленное описание очень важно для привлечения соискателей.


В рамках А-/В-теста наша гипотеза подтвердилась. Оказалось, что описание вакансий действительно влияет на ключевые конверсии. В дальнейшем мы планируем использовать обратную связь не только от компаний, но и от соискателей Работы.ру.

Также в процессе работы над нейросетью мы поняли, что в некоторых специфических моментах необходима более глубокая экспертиза. Поэтому в рамках мероприятия Data Fest 2023 создали секцию и пригласили спикеров для освещения актуальных тем, чтобы узнать информацию от ведущих специалистов в своих областях.

Текущая доступность работы

Технологическое решение внедрено на сайте: https://www.rabota.ru/