Проект Watchmen для каршеринговых сервисов — инструмент обеспечения безопасности на дорогах

Главное о кейсе

Разработана, протестирована, испытана действующая модель, готовый к использованию сервис представлен каршеринговым компаниям.

Watchmen вызвал большой интерес, на данный момент компания-клиент занимается привлечением инвестиций для дальнейшего развития продукта.
* * *

An operating model has been developed, inspected, and tested. A ready-to-use service has been offered to car sharing companies.

Watchmen has been in high demand. Now, our client encourages new investments to further promote the product.

Бизнес-задача и ее решение

В большинстве каршеринговых сервисов то, что происходит в салоне арендованного автомобиля, не поддается никакому контролю. Поэтому зарегистрированный пользователь может пустить за руль другого человека — не имеющего или лишенного права вождения, нетрезвого, несовершеннолетнего, и город превратится в трек для опасных гонок, грозящих смертью и увечьями абсолютно всем его жителям. Такие случаи уже были зафиксированы, и чтобы они не повторились, нужно было разработать инструмент, способный контролировать водительское поведения в каршеринговом авто.

Проект Watchmen был задуман и создан совместно с компанией DANNIE, которая отвечала за хардверную часть решения, а команда Doubletapp написала программную начинку девайса.

Как это выглядит? Это девайс с двумя камерами, который устанавливается на лобовое стекло. Он находится в салоне, одна камера смотрит внутрь салона, а другая — наружу; устройство работает под управлением Android.

Одним из требований заказчика была работа непосредственно на устройстве, так как стриминг видеопотока со множества машин является затратным, а обработка потребовала бы увеличения серверных мощностей. Эта задача была решена — все тяжелые вычисления выполняются прямо на устройстве, в духе подхода Edge AI.

Watchmen имеет следующий функционал:
1. Детекция лиц в салоне автомобиля.
2. Принятие решения о том, кто является водителем.
3. Сопоставление лица водителя с фото, которое загрузил пользователь каршериногового сервиса.
4. С помощью компьютерного зрения (не требует никаких дополнительных датчиков, кроме камеры) детектируется курение в салоне.
5. Передача видео с камеры на сервер, когда нужно проверить корректность работы системы.
6. Веб-интерфейс для деморежима — для продвижения решения каршеринговым сервисам. В нем в реальном времени идет стрим с камеры девайса, и также в реальном времени детектируется курение и подмена водителя.
7. Бэкенд и административная панель для работы с данными водителей.

Все описанные задачи детекции и распознавания решаются в офлайне на девайсе.

Использованные технологии: Python, Tensorflow, Tensorflow-Lite, Django, Kotlin (для Android-приложения), WebRTC.

В плане разработки наиболее интересной задачей была реализация детекции сигарет. Для этого нами был собран датасет из тысяч фотографий людей, курящих в автомобиле, а также делающих похожие на курение действия, например, чешущих нос или кашляющих в кулак. Даже сотрудники компании внесли свой вклад, снимая на видео, как они курят в своих машинах. На основании этого датасета была обучена нейронная сеть, впоследствии портированная на устройство для работы в офлайне.
* * *

For most car sharing services, what happens inside a shared car is a complete mystery. A registered user can let someone else drive — it might be a person without or with a lifted license, someone under the influence or underage, which makes the city a racetrack and poses a grave threat to city residents. There have been such cases. To prevent it further ahead, there was a need to develop a tool to control the driver’s behavior.

The Watchmen project was designed and created together with DANNIE. They worked on hardware, while the Doubletapp team dealt with device software.

What does it look like? This is a two-camera device, which is installed on a windscreen inside a car. One camera is pointed inside and the other is pointed outside. The device runs Android.

One of the client’s requirements was that it had to be operated from the device itself. Streaming video from several cars would be costly, and processing it would require more server capacity. This requirement was met — complex calculations are made on the device, like in the Edge AI approach.

Watchmen has following functions:
1. Detecting faces inside a car.
2. Deciding who is the driver.
3. Comparing the driver’s face with the photo provided by the user.
4. Computer vision to detect smoking inside a car (no additional sensors are needed, only cameras)
5. Sending video from the camera to the server when there is a need to check if the system works correctly.
6. Web interface for demo mode. It is used to promote the solution among car sharing services. In that, the device camera is streaming video in real time, while smoking and changing of the driver are being detected.
7. Backend and admin panel to deal with the driver’s data.

All aforementioned detection and identification tasks are performed offline on the device.

The technologies that have been used: Python, Tensorflow, Tensorflow-Lite, Django, Kotlin (for the Android app), WebRTC.

Прочая информация о кейсе

Watchmen — продукт для каршеринговых сервисов, позволяющий автоматически идентифицировать личность водителя, а также контролировать его поведение, чтобы предотвратить опасные и вредные ситуации.
* * *

Watchmen is a product for car sharing services. It automatically verifies the driver’s identity and helps control their behavior to prevent dangerous and harmful situations.

Скриншоты

Комментарий заказчика

Мы в DANNIE достаточно часто отдаем на аутсорс задачи, связанные с софтовыми приложениями, так как больше специализируемся на HW-разработке и на более «железном» уровне программирования. В проекте Watchmen мы имели достаточно жесткие сроки с меняющимися требованиями от заказчика. Однако специалисты Doubletapp нашли оптимальный формат взаимодействия и помогли нам в срок решить клиентскую задачу.
* * *

We, DANNIE, often outsource software tasks, as we mostly deal with hardware development and related to it programming. The Watchmen project had strict deadlines, and client’s requirements constantly changed. Still, Doubletapp managed to find an optimal cooperation format and helped us finish in due time.