Цифровая платформа Воображаемого музея Михаила Шемякина

Главное о кейсе

Первый арт-тех проект red_mad_robot — настоящий вызов для команды. Всё получилось: сотни тысяч оцифрованных изображений, полноценный цифровой музей и умный поиск с использованием нейросетей.

Сегодня «Воображаемый музей» Михаила Шемякина — неисчерпаемый ресурс для создания новых выставок, книг и образовательных программ. Он интересен и исследователям, и практикам (художникам и дизайнерам), и широкой аудитории — всем, кто хочет «тренировать глаз» и развивать свои аналитические способности.

«Воображаемый музей» — проект с удивительным научным и просветительским потенциалом. Искусствоведы и художники могут использовать материалы исследований в научных и художественных работах, учащиеся творческих вузов и школ — как учебный материал, а представители других индустрий — развивать навыки аналитики и синтеза, прокачивать насмотренность и чувство гармонии.

____

The first art-tech project red_mad_robot was a real challenge for the team. Everything worked out: hundreds of thousands of digitized images, a full-fledged digital museum and smart search using neural networks.

"Imaginary Museum" is a project with amazing scientific and educational potential. Art historians and artists can use the research materials in scientific and artistic works, students of creative universities and schools - as teaching material, and representatives of other industries - to develop analytical skills and pump up the sense of harmony.

Как проект изменил жизнь пользователей

Воображаемый музей Михаила Шемякина представляет собой бесконечный ресурс для создания новых выставок, книг и образовательных программ. Исследователи искусства, художники и дизайнеры со всего мира теперь могут изучать материалы музея онлайн и прокачивать свои навыки.
___

The Mikhail Shemyakin Imaginary Museum is an endless resource for new exhibitions, books, and educational programs. Art researchers, artists and designers from all over the world can now explore the museum's materials online and pump up their skills.

Бизнес-задача и ее решение

В 2021 году вместе с Фондом цифровой трансформации мирового культурного наследия мы начали работу по созданию цифрового «Воображаемого музея» Михаила Шемякина.

Михаил Шемякин — художник и скульптор, исследователь культуры и истории. «Воображаемый музей» Михаила Шемякина — результат 60 лет его активной работы, исследований и аналитики. Художник провёл очень масштабное исследование: проанализировал сотни тысяч изображений на предмет параллелей и взаимосвязей в искусстве — 3 млн репродукций и тысячи тем: «Лестница», «Закутанная фигура», «Рука», «Крик», «Смазанность образа» и другие.

Все эти годы исследование велось исключительно в аналоговом формате — Михаил Шемякин собственноручно вырезал иллюстрации из книг, газет и журналов по искусству, анализировал и в соответствии с авторским методом наклеивал их на листы плотного картона, которые отправлялись в тематические папки. Именно эта коллекция и хранится в замке Шамуссо во Франции.

Задача

Задачей red_mad_robot было создание платформы цифрового музея, которая помогла бы сохранить исследование Шемякина, дополнить его цифровыми инструментами и открыть первым пользователям.

Решение

Платформа с умным поиском и применением нейросетей. Важный элемент цифрового музея — поиск среди огромного архива визуальных исследований. Для удобства пользователей на платформе есть два вида поиска: атрибутивный и машинный (на основе нейросети). Первый находит изображения по метаданным, а второй, кроме поиска по автору и дате создания, умеет искать картины на основе их содержания и смысла.

_____

Mikhail Shemyakin is a painter and sculptor, researcher of culture and history. The artist conducted a very large-scale research conducted exclusively in analog format: he analyzed hundreds of thousands of images for parallels and interconnections in art - 3 million reproductions and thousands of themes.

The objective of the red_mad_robot team was to create a digital museum platform that would help preserve Shemyakin's research, augment it with digital tools and open it up to the first users.

The solution was a platform with smart search and application of neural networks. An important element of the Digital Museum is the search among the huge archive of visual research. For the convenience of users, the platform has two types of search: attributive and machine search (based on neural networks). The former finds images based on metadata, while the latter, in addition to searching by author and date of creation, is able to search for paintings based on their content and meaning.

Крафт (мастерство), реализация, технические детали

Платформа

Важный элемент цифрового музея — поиск среди огромного архива визуальных исследований. Для удобства пользователей на платформе есть два вида поиска: атрибутивный и машинный (на основе нейросети). Первый находит изображения по метаданным, а второй, кроме поиска по автору и дате создания, умеет искать картины на основе их содержания и смысла.

Например, нужно найти «винтовую красную лестницу». Атрибутивный поиск не справится с задачей, если такого описания нет в метаданных. Машинный же поиск подберёт изображения не просто с лестницами, а именно с красными винтовыми.

Более того, в рамках поиска нейросеть выдаёт пользователю список тегов, которые могут подтолкнуть исследователей к поиску новых смысловых связей в контексте метода Михаила Шемякина. Этот список можно брать за основу поиска и:

находить изображения с такими же тегами и выделять их в отдельную тематику;
сфокусироваться на ключевых особенностях и идеях, которые могут быть связаны с конкретной темой;
развивать рекомендательную систему — она сужает круг интересующих тем, выдавая релевантные результаты на основе анализа.

Это даёт сотрудникам исследовательских проектов пространство для новых трактовок и экспериментов с «подсказками» от нейросети, при этом демонстрирует, что нейросеть пока не смогла воспроизвести аналитический метод художника.

Технологии

Основная сложность разработки платформы заключалась в том, что в архиве было много изображений — 200 тысяч. Некоторые файлы весили по 300 мегабайт. Мы хотели оптимизировать работу с таким большим количеством изображений и попытались «оцифровать» авторский метод Михаила Шемякина. Но нейросети оказались не настолько умны — хоть они отлично распознают объекты на изображениях, алгоритм пока не способен проводить тот анализ, который проводит сам художник. Именно это делает «Воображаемый музей» музеем Шемякина, а не кого-либо ещё.

Поэтому из нейросети было решено сделать «невидимого» помощника внутри поисковой системы. Для этого мы выбрали уже существующую нейросеть CLIP, которая использует два встроенных словаря: текстовый и визуальный — 32 тысячи уникальных слов и 4 тысячи уникальных объектов и концептов. Она анализирует входные данные и «понимает», насколько помещённое в неё изображение соотносится с понятиями из её же словаря.

Точность CLIP может варьироваться, поэтому запросы пришлось разбить на три категории:

простая лексика,
искусствоведческая лексика,
специфическая лексика Михаила Шемякина.

Ещё мы использовали ruCLIP — ту же модель, но с русскоязычным словарём в основе.
Выбрав нейросеть, стали думать, как приблизиться к аналитическому методу Михаила Шемякина. Мы проверили гипотезу, сможет ли нейросеть определять не только признаки изображения, но и их темы. Для проверки мы создали выборку изображений из 32 тем: «Закутанная фигура», «Грифоны», «Кубы», «Тени», «Смазанность образов» и другие. Для каждого из них нейросеть сгенерировала набор тегов.

Во всех случаях выделялись только визуально похожие изображения. И ни один из применённых алгоритмов не смог воспроизвести группировку по темам самого Шемякина из-за сложности определения признаков, по которым художник объединяет изображения в темы.

Дизайн

Мы выбрали академическое направление дизайна: шрифт Antiqua с засечками для привлечения внимания, коричневая и золотисто-чёрная палитра. Дизайн как раз пересекается с артефактами из реального мира: коробки с листами, подписи и почерк художника.

Весь интерфейс нацелен на работу с изображениями — было решено отказаться от левого бокового меню, чтобы оно не «съедало» основное пространство с ними. А ещё изображения в «Воображаемом музее» ни в коем случае нельзя обрезать. Поэтому мы встроили их во фрейм (контейнер) так, чтобы они всегда помещалось целиком, сохраняя пропорции. Это добавило динамики сетке страницы. В верхней части страницы — переключение между модулями платформы, цифровым и аналоговым, и умный поиск по изображениям.

Если открыть изображение в цифровом музее, то пользователь увидит информацию об этом артефакте и список листов Аналогового архива, в которых содержится это изображение. И наоборот, при открытии листа в Аналоговом архиве в информации о нём есть список привязанных изображений.
___

Platform

An important element of the Digital Museum is the search among the huge archive of visual research. This gives research project staff space for new interpretations and experimentation with "hints" from the neural network, while demonstrating that the neural network has not yet been able to replicate the artist's analytical method.

Technologies

The main difficulty in developing the platform was that the archive contained a lot of large images - 200 thousand. We wanted to optimize work with such a large amount of data and tried to "digitize" Mikhail Shemyakin's method. But neural networks turned out to be not that smart - although they recognize objects in images perfectly, the algorithm is not yet able to perform the kind of analysis that the artist himself does.

Therefore, it was decided to make the neural network into an "invisible" assistant inside the search engine. For this purpose, we chose the already existing CLIP neural network: it analyzes input data and "understands" to what extent the image placed in it correlates with concepts from its own dictionary.

Design

We chose an academic design direction: an Antiqua font with serifs to draw attention, a brown, gold and black palette. The design intersects with artifacts from the real world: boxes of sheets, signatures and the artist's handwriting.

The whole interface is focused on working with images - it was decided to abandon the left side menu so that it would not "eat up" the main space with them. Also, images in the Imaginary Museum can never be cropped. That's why we embedded them in a frame (container) so that they always fit in their entirety, preserving their proportions. This added dynamics to the page grid.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Колоссальная значимость исследования была понятна изначально — ещё в 2019 году команда red_mad_robot ездила в замок Шамуссо, чтобы вживую увидеть наследие Шемякина, изучить процесс работы с исследованиями и обсудить возможности создания цифровой платформы. Потом началась пандемия, и работы пришлось отложить.

В конце 2021 года мы вернулись к проекту и начали воплощать его в жизнь. Для оцифровки архива была привлечена французская компания ARKHENUM, которая ранее оцифровывала коллекции Лувра и других крупнейших музеев. За шесть месяцев было отсканировано больше 700 папок «Воображаемого музея» и создан облачный архив из 200 тысяч изображений.

После оцифровки архива команда приступила к созданию цифровой платформы, которая помогла бы сохранить исследование Шемякина, дополнить его цифровыми инструментами и открыть первым пользователям.
___

The colossal significance of the research was clear from the beginning - the red_mad_robot team traveled to Chateau Chamusso to see Shemyakin's legacy in person, to study the process of working with research and to discuss the possibilities of creating a digital platform.

More than 700 folders of the Imaginary Museum were scanned and a cloud archive of 200,000 images was created. After digitizing the archive, the team set out to create a digital platform that would help preserve Shemyakin's research, supplement it with digital tools, and open it up to the first users.

Прочая информация о кейсе

Не менее важной частью проекта стала демонстрация цифрового музея в рамках выставки в Новой Третьяковке на Крымском валу. Нашей команде предстояло организовать демо-доступ к цифровой платформе, чтобы каждый желающий смог окунуться в мир «Воображаемого музея» и увидеть его глубину прямо на выставке. В преддверии запуска мы также создали лендинг, в котором можно чуть больше узнать о цифровом музее и методе Михаила Шемякина.

Цель выставки — показать «Воображаемый музей» на стыке современных информационных технологий и классических методов анализа произведений искусства.

В экспозиции — 54 произведения разных авторов из коллекции Третьяковской галереи на тему лестницы. Подбор и комбинация произведений позволили зрителю увидеть работу «Воображаемого музея»: как поиск на заданную тему помогает обнаружить неожиданные артефакты в наследии Михаила Ларионова, Бориса Кустодиева, Василия Поленова и других известных авторов и как при анализе мотивов выявляются новые архетипы и темы. Всё это стало возможным благодаря специальным тач-панелям с демо-версией цифровой платформы «Воображаемого музея», которые мы установили на экспозиции.
___

An equally important part of the project was the demonstration of the digital museum as part of the exhibition at the New Tretyakovka. Our team organized demo access to the digital platform so that everyone could plunge into the world of the Imaginary Museum and see its depth right at the exhibition. In the run-up to the launch, we also created a lending site where you can learn a little more about the digital museum and Mikhail Shemyakin's method.

The aim of the exhibition is to show the "Imaginary Museum" at the intersection of modern information technologies and classical methods of analyzing works of art.

All this became possible thanks to special touch panels with a demo version of the Imaginary Museum digital platform, which we installed at the exposition.

Скриншоты

Видео

Комментарий заказчика

Благодаря цифровой платформе «Воображаемый музей» становится доступным из любой части света, а не только в аналоговом формате во французском замке Шамуссо. Это новый виток развития проекта, над которым Михаил Шемякин трудился 60 лет, — теперь «Воображаемый музей» может активно расширяться и развиваться в совершенно новом формате.