ПО и ИИ-модуль для носимых видеорегистраторов

Главное о кейсе

Компания ДМТ — топ-производитель носимых видеорегистраторов для работы во взрывоопасных условиях. Старая платформа не справлялась с растущими объёмами видео и запросами корпоративных клиентов. Мы создали комплексную экосистему с автоматической аналитикой нарушений, GPS-мониторингом и удалённым доступом.

Как проект изменил жизнь пользователей

1. ПО работает на российских операционных системах
2. Появилась возможность подключаться к системе из любой точки — при этом структура доступа чётко разграничена
3. Внедрены GPS и прямые трансляции — раньше это приходилось решать сторонними средствами
4. Нарушения по охране труда начали фиксироваться автоматически, без участия охраны

Бизнес-задача и ее решение

БИЗНЕС-ЗАДАЧА

Создать новую программную платформу для работы с видеорегистраторами с перспективой на развитие. Решение должно было закрыть растущие потребности клиентов за счёт добавления запрашиваемых функций.

В работе мы сделали ставку на гибкую архитектуру, которую можно расширять без полной переработки.

РЕШЕНИЕ

Система состоит из нескольких частей: это десктопное ПО, серверное ПО, дополнительный ИИ-модуль и мобильное приложение. Пройдёмся по каждой.

1. Десктопное ПО

Выступает в роли централизованного хранилища данных с разных станций (т.е. компьютеров с установленным десктопным ПО). Из десктопного ПО видео с регистраторов отправляются на сервер.

2. Серверное ПО

Платформа с защищённым хранилищем, поддержкой локального и удалённого доступа. Видео можно загружать напрямую или просматривать через подключение к устройствам, а также искать нужные видео по фильтрам. Это особенно востребовано в корпоративных средах, где за день могут накапливаться десятки часов записи с разных устройств.
Можно настроить хранение в соответствии с внутренними политиками безопасности — например, сделать древовидную систему доступов.

Также на сервере подключён модуль голосовой аналитики. Он анализирует тексты, полученные в результате танскрибации, видео, и определяет голосовые нарушения — например, недостаточно полный или неверный инструктаж.

3. ИИ-модуль
Встроенный нейросетевой модуль самообучается на фото сотрудников и может автоматически фиксировать отсутствие средств индивидуальной защиты: касок, масок, перчаток. Система сразу отправляет уведомление, фиксируя, кто и когда нарушил правила.
4. Мобильное приложение

Служит терминалом для доступа к видеорегистраторам, когда отсутствует интернет. Через приложение можно подключиться к регистратору, поменять небольшой пул настроек, а также вырезать нужные фрагменты из видео и сохранить их на телефон.

Крафт (мастерство), реализация, технические детали

ТЕХНОЛОГИЧЕСКИЙ СТЕК
Серверное ПО: HTML, CSS, JS, VueJS, Python, Django, FastAPI
Десктопное ПО: Qt, C++

ВОЗМОЖНОСТИ СЕРВЕРНОГО ПО

— Просмотр видео с регистраторой всей компании, а не с одного компьютера
— Анализ видео на предмет нарушений (например, правил ношения СИЗ — средств индивидуальной защиты
— Удалённое подключение к регистраторам для просмотра трансляций через 4G и Wi-Fi
— Просмотр видео в мультиканальном режиме (одновременный просмотр суточных записей с нескольких регистраторов)
— Фильтрация видео по разным критериям (по датам, размеру файлов, конкретным регистраторам и сотрудникам, которые закреплены за регистратором)
— Настройка системы доступов. Ролевых моделей две: операторы и администраторы. Операторы могут только просматривать видео и фиксировать нарушения, без права редактирования. Администраторы дополнительно могут менять настройки регистраторов и ПО, а также назначать операторов
— Отслеживание перемещения устройства на карте по GPS/ГЛОНАСС с временными отметками
— Транскрибация (перевод в текст) всех загружаемых видео для последующего анализа


ВОЗМОЖНОСТИ ГОЛОСОВОГО МОДУЛЯ

— Анализ текстов, полученных в результате транскрибации видео
— Определение голосовых нарушений
— Поиск по всем расшифрованным текстам
— Формирование отчётов о нарушениях по результатам анализа



ВОЗМОЖНОСТИ ИИ-МОДУЛЯ
— Фиксация нарушения правил (например, отсутствия касок, масок, перчаток)
— Уведомление ответственного в формате «кто, где, когда»
— Возможность гибкого дообучения на любой тип нарушений

ВОЗМОЖНОСТИ МОБИЛЬНОГО ПРИЛОЖЕНИЯ
— Подключение к регистратору через Wi-Fi (его раздаёт регистратор)
— Просмотр онлайн-трансляции
— Изменение некоторых настроек регистратора
— Создание вырезок из видео и их сохранение на телефон

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

-