Разработка сервиса Bus Factor — AI для контроля внимания водителей

Главное о кейсе

Внедрение нашей системы сократило затраты человеко-часов в 30 раз. Теперь операторам необходимо только перепроверять некоторые ответы машины, а не отсматривать все видео самостоятельно.
Заказчик отмечает, что с появлением ИИ значительно повысилась дисциплина водителей.

____________

The implementation of our system has reduced manhour expenses by 30 times. Now, rather than watching the entire video, operators only need to double-check some of the machine's responses.
The customer has noted that with the introduction of the AI, the discipline of drivers has increased significantly.

Бизнес-задача и ее решение

В начале 2020 года к нам обратилась компания «Термотех» с задачей автоматизации и оптимизации контроля за водителями общественного транспорта.
На момент обращения к нам задача решалась силами сотрудников «Термотех» — они вживую просматривали все записи с камер видеонаблюдения в кабине водителей. Такой подход занимал огромное количество времени и все равно приводил к ошибкам, основанным на человеческом факторе.

Также требовалось автоматически проверять, что камера имеет верный ракурс, то есть смотрит на водителя, и что она в целом работает.

Для решения задачи мы разработали систему, которая интегрируется с АПИ для получения фото с камеры, проверяет их на наличие телефона в кадре и неверного ракурса, после чего ставит соответствующий статус изображению.
Позже человек проверяет только изображения, отмеченные системой как имеющие нарушения (система настроена так, чтобы почти не пропускать нарушения и скорее дать ложно-положительный результат).
Поиск телефона в кадре и проверка ракурса реализованы при помощи нейронных сетей. Для обучения сети совместно с клиентом был собран и размечен датасет из 40 000 изображений.
На обучение было потрачено 160 человеко-часов.

____________

At the start of the year 2020, "Termotech" addressed us with the task of automating and optimizing control over public transport drivers.
At the time of contacting us, the problem was being solved by the efforts of the "Termotech" employees, who were personally checking all the recordings from CCTV cameras installed in the drivers' cabs. This approach took a huge amount of time and still led to human errors.

It was also required to automatically check whether the camera had the correct angle — it should be looking at the driver — and that it was generally working.

To solve the problem, we have developed a system that integrates with the API to receive photos from the camera, which then are checked for the presence of a phone in the frame and whether the angle is wrong or not, and after that the appropriate status to the image is set.
A man only has to check the images that are flagged by the system as the ones having violations (the system is configured so that it almost never misses any violations and is more likely to give a false-positive result).
The search for a phone in the frame and the angle check is done with the use of neural networks. To train the network, together with the client, a dataset of 40,000 images was assembled and marked.
160 manhours were spent on training.

Прочая информация о кейсе

Машинное обучение — одно из основных направлений развития компании Doubletapp.
Проект «Безопасность движения общественного транспорта» разработан совместно с компанией «Термотех» и ЕМУП «ГОРТРАНС».

Основная задача проекта: контролировать водителей общественного транспорта и фиксировать моменты использования мобильного телефона за рулем.

____________

Machine learning is one of the main development areas of the Doubletapp company.
"Safety of Public Transport" project was developed in cooperation with the "Termotech" and EMUP "GORTRANS" companies.

The main task of the project is to monitor public transport drivers and record the cases of mobile phone usage while driving.

Скриншоты

Комментарий заказчика

Некоторое время назад нашей компании понадобилось решить задачу по мониторингу поведения водителей на основе данных полученной системой видео наблюдения в режиме он-лайн.

Поизучав эту тему, мы пришли к выводу что данную задачу можно решить при помощи машинного зрения с применением алгоритмов нейросети. поизучав рынок предложений, а так же по совету моего хорошего друга из компании Яндекс, выбор пал на компанию Doubletapp.

Парни оказались профессионалами своего дела, и достаточно в короткие сроки реализовали нашу идею в виде программного продукта. Отдельно хочу сказать спасибо Антону Рябых за личное ведение данного проекта.

Сейчас данный проект имеет конкретное практическое применение по снижению аварийности пассажирского городского транспорта в г.Екатеринбург

____________

Some time ago, our company needed to solve the problem of monitoring the drivers' behaviour based on the data obtained by video surveillance system in online mode.

After studying this topic, we came to the conclusion that this problem can be solved using machine vision with the introduction of neural network algorithms. Having studied the market and following advice from my good friend from Yandex, we've decided to address Doubletapp.

The guys turned out to be professionals in their field, and in a fairly short time they implemented our idea in the form of a software product. I would also like to thank Anton Ryabyh for the personal management of this project.

Now this project has a concrete practical application - it reduces the car crash rate of municipal passenger transport in Yekaterinburg.