Компьютерное зрение для диагностики кожных заболеваний — Dermadex

Главное о кейсе

Мы обучили искусственный интеллект распознавать кожные заболевания по фотографии и определять диагноз. Разработали телемедицинское приложение, интегрировали в него обученную нейросеть.

В результате модель компьютерного зрения выдала 99% точности диагноза при условии качественной фотографии!

Как проект изменил жизнь пользователей

Пользователи получили возможность определить кожные заболевания, не выходя из дома. Достаточно открыть приложение и сделать фото больного участка — нейросеть поставит диагноз за 1 секунду.

Конечно, результаты ИИ-диагностики должен уточнить специалист. Поэтому после постановки диагноза приложение предлагает пользователю записаться на консультацию к врачу. Это может быть как онлайн-консультация прямо в приложении, так и офлайн-прием, если недалеко от пользователя есть сертифицированный дерматолог.

Бизнес-задача и ее решение

Представители заказчика — профессиональные дерматологи из Канады. Специалисты столкнулись с тем, что найти хорошего медика онлайн не всегда легко, и задумались над созданием телемедицинского приложения, посвященного узкой нише — дерматологии.

Мы предложили обучить и интегрировать искусственный интеллект, чтобы отстроиться от других телемедицинских приложений. Система компьютерного зрения стала киллер-фичей будущего продукта.

Крафт (мастерство), реализация, технические детали

Для обучения нейросети нам понадобились тысячи фотографий больной кожи. Желательно — размеченные, с указанием диагноза. Исследовали open-source репозитории и нашли 21 датасет. К нашему разочарованию оказалось, что качественного материала в них не так много.

Чтобы справиться с этой проблемой, решили полагаться на zero-shot и few-shot при тестировании:
— Zero-shot. Оценивали возможности моделей без предварительного обучения на датасетах. Это означает, что модель тестировалась на задачах или датасетах, с которыми до этого не имела дела.
— Fine-tuning (few-shot). Здесь модели проходили дополнительное обучение на наших датасетах.

Разработчики протестировали несколько моделей AI и выбрали CLIP — базовую модель, которая позволяет классифицировать изображения, находить на них объекты и генерировать текст на основе изображений.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Главная проблема, с которой столкнулись разработчики, все та же — нехватка данных и недостаточно качественные датасеты из открытого доступа.

Решением стала аугментация данных — мы расширили базу, сгенерировав искусственные данные на основе реальных. Добавив незначительные искажения в изображения, смогли существенно расширить базу для обучения модели.

В результате научили CLIP находить 60+ разных заболеваний, объединенных в шесть больших групп: Акне, Герпес, Экзема, Розацеа, Псориаз, Витилиго.

Текущая доступность работы

Обучение модели компьютерного зрения и разработка приложения завершены. На данный момент заказчик занимается размещением приложения в сторах.

Скриншоты

Комментарий заказчика

«Я долго искал команду, способную разработать мобильное приложение для дерматологов и их пациентов. Портфолио Unistory впечатлило меня: экспертиза в нейросетях и компьютерном зрении, опыт в медицинской сфере. Я сразу решил, что эти ребята — идеальный выбор для нас, и не ошибся. Результат — мобильное приложение с интеграцией AI-модели CLIP, способное определить 6 групп заболеваний».