Как мы с помощью компьютерного зрения научили мобильное приложение распознавать номера и марки машин

Главное о кейсе

Наш заказчик — владелец социальной сети, которая объединяет авто- и мотолюбителей по всему СНГ и постоянно растет.

Пользователи регистрируются в сети и указывают, каким транспортом владеют, это помогает владельцам сети привлекать рекламодателей для конкретной аудитории, предлагать актуальную информацию, проводить акции и розыгрыши, а также модерировать пользовательский контент.

С ростом числа участников сообщества верифицировать автовладельцев стало сложно, появилось много спамеров и посторонней публики, разводящей флуд. Руководители соцсети не хотели терять авторитет в глазах аудитории и превращать площадку в базар, поэтому сначала планировали при регистрации требовать загрузки документов, подтверждающих право владения транспортом, но быстро убедились, что люди на это не соглашаются. Владельцы соцсети искали варианты, как не отпугнуть пользователей при регистрации, и выбрали способ верификации без загрузки документов — приложение с компьютерным зрением.

Заказчик изучил статьи на Хабре по теме компьютерного зрения, выделил публикации Doubletapp с описанием реализованных кейсов и оценил нашу экспертность. Хотя в штате заказчика есть пара десятков собственных программистов, он решил привлечь опытную аутсорс-команду с уникальной экспертизой, чтобы гарантированно получить результат.

Как проект изменил жизнь пользователей

Мы помогли автолюбителям быстро получать доступ в профильную соцсеть без загрузки документов на личный транспорт. Это повысило их лояльность и сняло опасения по поводу возможных утечек личных данных. Пользователи в три клика регистрируются с помощью приложения и получают доступ к специализированному контенту.

Бизнес-задача и ее решение

Заказчику нужен был функционал, с помощью которого человек мог бы подтвердить, что он владелец авто или мотоцикла.
Решили, что для верификации будет достаточно, если владелец спереди и сзади сфотографирует свою машину с двумя открытыми дверьми, либо мотоцикл, на фото определится номер, марка/модель и цвет. После этого информацию можно привязать к своему аккаунту.

В итоге пользователи в три клика регистрируются в соцсети, а владелец наращивает лояльную клиентскую базу и проводит рекламные кампании.

Крафт (мастерство), реализация, технические детали

10 000 изображений было собрано для того, чтобы обучить модель.
Уложились в менее чем 1000 часов в рамках строгого бюджета.
Технологии: Python, FastAPI, PyTorch, YOLOv8, Kotlin, Swift

Мы собрали и обработали данные для обучения модели, которая умеет определять, что перед ней именно машина, это дверь именно этой машины, а не какой-то другой, это вид машины сзади, это — спереди, а это — мотоцикл. Затем мы разработали SDK (software development kit) — мобильную библиотеку, которую заказчик может интегрировать в собственные нативные приложения под iOS и Android.

Функционал SDK:
‣ открывает камеру, смотрит вперед, видит машину с открытыми дверьми, понимает, что это машина с открытыми дверьми, видит номер;
‣ посылает запрос на сервер (также сделанный нами), который обращается к third-party solution, решению от провайдера. Благодаря этому решению определяется номер и марка/модель авто.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Изначально заказчик не планировал получить в результате сотрудничества именно SDK — запрос был на обучение модели. Но после обучения нужно было протестировать готовое решение, и техлид проекта предложил для этого написать мобильный SDK. В итоге заказчик получил больше, чем ожидал.

Прочая информация о кейсе

У заказчика есть в штате пара десятков программистов, но они не занимаются компьютерным зрением. Наша аутсорс-команда закрыла потребность заказчика в специалистах с необходимой экспертностью и предоставила 80% результата за 20% денег.

Скриншоты

Видео