Система модерации на Авито

Главное о кейсе

Модерация в Авито технологична: более 150 ML-моделей анализируют текст и изображения, принимая решение, пропустить или нет объявление. Ежедневно на платформе публикуется 20 млн объявлений, и большая часть из них модерируется автоматизировано. В среднем процент ручной обработки объявлений составляет 1%, тогда как 99% решений принимается без участия людей. С помощью ручной проверки 1% случаев организовано автоматическое переобучение моделей: накопленные данные о решении сложных случаев позволяют автоматически улучшать модели, не требуя отдельной ручной разметки датасетов.

Как проект изменил жизнь пользователей

Благодаря интеллектуальным алгоритмам, объявления проверяются без участия человека. Алгоритмы выполняют объем работы, который мог бы сделать состав из 100 тысяч человек, что напрямую влияло бы пользовательский опыт.

В команде ручной модерации работают студенты и молодые специалисты, и это возможность для них начать карьеру в крупной ИТ-компании, профессионально развиваться и получать комплексную поддержку для развития навыков и компетенций.

Также, команда модерации чутко реагирует на внешние обстоятельства и добавляет новые правила в работу алгоритмов во избежание спекуляций: например, недавно оперативно удалили объявления о продаже билетов на Щелкунчик в Большом Театре (для обеспечения безопасности сделок и комфорта граждан). Ограничиваются цены на социально-важные товары, такие как сахар, масло и тд с целью недопущения ценовых манипуляций.
Объекты недвижимости проверяются по ЕГРН, автомобили - по VIN-номеру, работодатели – по ИНН.
Платформа проверяет товары на предмет оригинальности — все это делается для того, чтобы покупки в онлайн были доступны и безопасны для всех пользователей.

Бизнес-задача и ее решение

Задачи бизнеса:
Модерация не должна занимать много времени, чтобы продавцы и покупатели могли как можно скорее совершить сделку.

Для пользователей модерация должна быть максимально качественной, чтобы они не видели объявления, содержащие нарушения.

Для бизнеса модерация должна быть максимально эффективной, чтобы повысить его маржинальность, а также уберечь компанию от рисков.

Решение:
В настоящий момент на Авито находится 195 миллионов активных объявлений. Каждый день размещается или редактируется 20 миллионов объявлений, каждое из которых нужно проверять на соответствие правилам Авито и действующему законодательству: объявления не должны содержать запрещенные товары или услуги, должны быть размещены в правильной категории, не должны дублировать друг друга и многое другое.

Аудитория Авито превышает 60 млн пользователей ежемесячно, что означает, что каждая российская семья имеет хотя бы один аккаунт на платформе. Алгоритмы Авито помогают россиянам безопасно продавать и покупать по всей стране.

Крафт (мастерство), реализация, технические детали

Модели умеют анализировать тексты и изображения, обучены на распознавание потенциального нарушения конкретного типа. Часть моделей является мультимодальными, то есть анализируют все компоненты объявления: заголовок, описание, параметры товара или услуги, фотографии, а также контекст. Контекст — это своего рода история пользователя: что он размещал раньше, под какими аккаунтами. Так находят спамеров, которые регистрируют сотни учётных записей.
Также это важно в задачах нахождения запрещенных товаров, где только совокупность факторов позволяет понять, что объявление не может быть размещено. Например, объявление о продаже кальяна под видом вазы или объявление о продаже оружие под видом чехла для оружия. Часть случаев помечается как “сложные” и отправляется на дополнительную проверку командой ручной модерации.

Система никогда не оценивает нарушения категорично — она вычисляет их вероятность. Если по всем критериям вероятность нарушения ниже значения Х, объявление проходит на сайт. Если хотя бы по одному критерию вероятность превышает значение Y — блокируется.В некоторых случаях возникает пограничная ситуация — показатель вероятности нарушения вписывается в небольшой диапазон от X до Y. Тогда объявление отправляется на ручную проверку. Ручная премодерация разделена на две линии. Первая работает с нарушениями на уровне объявления, вторая — на уровне аккаунта автора.

Количество отправляемых на дополнительный досмотр объявлений регулируется автоматически в зависимости от количества модераторов на смене, но объявления всегда ранжируются по уровню риска в режиме реального времени, и на проверку попадают только самые критичные случаи.

99% объявлений на платформе проверяются автоматически за

Текущая доступность работы

Приложение Авито доступно к бесплатному скачиванию в App Store, Google play, Huawei AppGallery, Xiaomi GetApps, RuStore.