Технология распознавания предметов искусства «АртРегистратор»

Главное о кейсе

— Разработанная технология распознает фотографии картин и рисунков. Может сообщить название картины, ее автора и год создания.
— Мы создали механизм, который распознает предмет искусства на фотографии, а потом связывает его изображение с базой данных. Всё это выстроили в рабочий пайплайн.
— Расширили каталог до 90 000 картин и рисунков. А еще реализовали пайплайн, который работает с расширенным поиском. Он уже показал приемлемые метрики распознавания.

***

— Our technology recognizes photos of paintings and drawings. It can tell you the name of the painting, its author, and year of creation.

— We have created a mechanism that recognizes art objects in photos and then links the images to the database. All this has been organized into a working pipeline.

— We have expanded the catalog to 90,000 paintings and drawings. We have also implemented a pipeline that works with advanced search. It has already demonstrated acceptable recognition metrics.

Бизнес-задача и ее решение

Задача клиента
Создать сервис оценки объектов искусства через смартфоны.
Задачи команды AGIMA

— Разработать алгоритм матчинга картины с фотографии пользователя с оригиналом картины из каталога музея The Met.
— Проанализировать качество поиска по каталогу, выявить основные проблемы и сформировать план по улучшению качества сервиса.

Решение
Решение состоит из нескольких этапов.

1. Сбор данных.
Мы интегрировались с датасетом MetObjects, содержащим описание порядка 470 000 объектов искусства. Датасет сформирован музеем The Met.

Поиск информации о картинах осуществлялся двумя способами:
— Через API музея The Met по ключевым словам: например, painting, landscape, portrait, cityscape, canvas, watercolor и др.
— В датасете MetObjects также по ключевым словам.

ID картин, найденных этими двумя путями, мы объединили — получилось около 25 000 объектов.

2. Анализ данных.
Решая задачу, мы опробовали несколько алгоритмов распознавания и сбора изображений. Главный из них — эмбедеры.

Эмбедеры на основе классификаторов

Эмбедер — это нейронная сеть. Такая модель обучается как классический классификатор. На этапе применения модели обычно берется последний полносвязный слой для представления изображения в виде числового вектора длины

3. Обучение нейронной сети.
Для обучения такого детектора собрали обучающую выборку, состоящую из 367 фотографий музеев, а также провели разметку картин и рисунков на этих фотографиях.
Мы протестировали классические архитектуры классификаторов на основе ResNet50 и MobileNet, а также архитектуры с использованием слоя ArcFace, который позволяет на этапе обучения максимизировать расстояние между эмбедингами или векторами объектов разных классов.

Также в процессе обучения были использованы различные форматы подаваемых на вход изображений (намеренное искажение изображений) для снижения риска переобучения модели под обучающую выборку.

После того как искуственным интеллектом были выделены все интересующие нас картины на фотографии, необходимо найти оригиналы этих картин в базе.

***
Customer's task
Create an art appraisal mobile app.

AGIMA team tasks
— Develop an algorithm for matching a painting from the user's photo with the original painting from The Met museum catalog.
— Analyze the quality of catalog search, identify major issues, and come up with a plan to improve service quality.
Solution
The solution consists of several steps.

1. Data collection.
We integrated with the MetObjects dataset, which contains descriptions of about 470,000 art objects. The dataset was created by The Met museum.

We searched for information about paintings in two ways:

1. Through The Met's API using keywords such as painting, landscape, portrait, cityscape, canvas, watercolor, etc.
2. In the MetObjects dataset, also using keywords.
We combined the IDs of the paintings found using these two approaches and got about 25,000 objects.

2. Data analysis.
To find a solution, we tried several image recognition and acquisition algorithms, including, primarily, embeddings.
Classifier-based embeddigs
Embeddings are neural networks. Such models are trained as traditional classifiers. At the stage of model application, we usually use the last fully-connected layer to represent the image as a numeric length vector

3. Neural network training.
To train our detector, we put together a training set consisting of 367 museum photos and mapped the paintings and drawings in these photos.
We tested traditional classifier architectures based on ResNet50 and MobileNet, as well as architectures using the ArcFace layer, which allows us to maximize the distance between embeddings and vectors of different class objects during the training phase.
We also used different formats of input images (intentional image distortion) during training to reduce the risk of overfitting the model to the training set.
After the artificial intelligence has highlighted all the paintings in a photo, it starts looking for the originals in the database.

Прочая информация о кейсе

АртРегистратор — это мобильный сервис, который находит и распознает на фотографиях предметы искусства, а затем выдает пользователю короткую справку о каждом из них.

Компания обратилась к нам с бизнес-идеей. Нам нужно было реализовать ее с нуля с помощью машинного обучения.

***
ArtRegistrator is a mobile service that detects and identifies art objects in photos and then provides users with brief information about them.

The company approached us with a business idea, which we had to implement from scratch using machine learning.

Скриншоты