Разработка ML-решения для обработки фото товаров в интернет-магазине Lamoda

Главное о кейсе

Разработали ML-сервис для одного из крупнейших интернет-магазинов в России — Lamoda. Карточка товара в нем сопровождается качественными фото, которые имеют определенные стандарты. Для создания такого контента у Lamoda есть собственная большая фотостудия и штат ретушеров. Но некоторые задачи по обработке изображений руководство магазина решило передать нейросети. Сервис, который мы создали для Lamoda:

— обучается на базе уже созданных и отредактированных фотографий обуви — так он может решать сложные задачи по повороту изображения без строго заданного угла;
— приводит фото к стандартам качества, установленным в компании;
— редактирует фон, чтобы подать товар в выгодном свете.

Как проект изменил жизнь пользователей

Сотрудники отдела обработки фото интернет-магазина Lamoda загружены работой: ежедневно они готовят изображения для сотен новых карточек товаров. Часть их действий — рутинные и повторяющиеся. Например, выравнивание объекта, замена фона. Также на некоторых фото товар нужно повернуть под углом, значение которого не определено строго — для этого нужна насмотренность. Здесь на помощь ретушерам приходит ML-сервис: он обучается на базе отредактированных фото и выполняет поворот и другие операции за 5–15 секунд вместо нескольких минут, которые тратит человек. Наша разработка ускорила ретушь изображений, упростила работу сотрудников.

Бизнес-задача и ее решение

Важная часть маркетинга в Lamoda — качественные фотографии в карточках товаров. Съемки проводят на собственной фотостудии полного цикла, ретушеры ежедневно обрабатывают огромное количество изображений, из которых нужно отобрать самые качественные, расположить объект в кадрах под правильными углами, улучшить фон. С помощью хороших фото магазин подчеркивает достоинства товара, дает покупателю изучить его со всех сторон.

Представители интернет-магазина обратились к нам, чтобы разработать ML-решение. Оно должно было снять с сотрудников рутинные, однотипные задачи по обработке фотографий — расположение объекта в кадре, коррекцию цвета фона и другие. Среди них был также поворот объекта на изображении без строго заданного угла: ретушеры справлялись с ним благодаря насмотренности. Эту задачу также нужно было передать нейросети: для этого подготовили базу уже обработанных фото.

Решение ускорило процесс обработки фото в 60 раз. Сотрудники Lamoda больше не тратят время на однотипные задачи. ML-сервис обрабатывает одно изображение за 5–15 секунд, в зависимости от мощности процессора — тогда как ретушеру на это необходимо 5–10 минут. Сейчас мы продолжаем сотрудничать с заказчиком, добавляем новые функции. Например, сейчас внедряем нейросеть, которая сортирует задачи и сразу направляет их в нужный модуль.

Крафт (мастерство), реализация, технические детали

Для карточек в каталоге Lamoda важна ориентация объекта в кадре — он всегда должен быть расположен в центре, на фоне с градацией светлых оттенков, иметь определенную тень. Поэтому для решения задачи заказчика мы использовали ансамбль из двух нейронных сетей:

— Первая осуществляет дихотомическую сегментацию изображений. В результате изображение разделяется на сегменты или области, которые считаются однородными по некоторым критериям, например, по цвету, текстуре или интенсивности. «Дихотомический» означает «разделяющийся на две части», так что этот метод сегментации часто включает рекурсивное разделение изображения на более мелкие области до тех пор, пока не будут выполнены определенные условия однородности.
— Вторая нейронная сеть, Deep-OAD — это модель глубокого обучения, которая определяет угол ориентации естественного изображения.

Также мы использовали набор морфологических операций библиотеки OpenCV для обработки разных ракурсов объекта — в профиль, сверху, и для поворота в пространстве.

Вид объекта в профиль
Изображение обуви в профиль загружается в сервис и автоматически обрабатывается нейросетью, которая отделяет объект от фона, добавляя альфа-канал для прозрачности.

Для этого используется набор операций, например, установка объекта на фон, установка белого фона, затемнение, которое улучшает контраст и яркость изображения, делает его более насыщенным и выразительным, коррекция фона для оптимизации освещения и теней на фоне, чтобы сделать изображение более естественным.

Вид объекта сверху
Изображение загружается по указанному пути, для его фона задается уровень белого. Используется модель сегментации объекта, добавляется альфа-канал и применяются такие операции, как коррекция поворота, коррекция наклона линии, позиционирование объекта.

После этого, как и при работе с видом в профиль, изображение преобразуется в маску, на нем устанавливается белый фон, производится затемнение фото и коррекция фона.

Обработка поворота обуви
Мы научили модель разворачивать обувь на изображении с помощью набора последовательных действий. Фото загружается по заданному пути, после этого нейросетевая модель Deep-OAD определяет необходимый угол, при котором обувь будет ориентирована корректно. После этого производится поворот, удаление фона, установка позиции объекта и применяются те же операции, как и при работе с видами сверху и в профиль: изображение преобразуется в маску, на нем устанавливается белый фон, производится затемнение фото и коррекция фона.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Чтобы обучить модель, мы использовали большой массив изображений разных типов обуви, предоставленный компанией. После первой серии экспериментов поняли, что выборку нужно дополнить: например, нейросеть справлялась с обработкой кроссовок, но ошибалась при работе с туфлями. Дополнительное обучение помогло повысить точность работы модели. На обработку одного изображения уходит около 15 секунд — это существенно быстрее, чем если бы ретушь выполнял сотрудник.

Скриншоты