Разработка мобильного приложения HitFactor

Главное о кейсе

Shot recognition metrics were considered taking into account the fact that the start of the shot, determined by the neural network, should not differ from the real start of the shot by more than 50 milliseconds as even fractions of a second were important for the client.

METRICS:
- Precision was 99.1%;
- Recall was 97.8%.

Where precision is the probability that a shot found is really a shot and recall is the probability that an existing shot will be found.

_____________

Метрики распознавания выстрелов считались с учетом того, что начало выстрела, определенное нейросетью, не должно отличаться от реального начала выстрела больше, чем на 50 миллисекунд: для клиента были важны доли секунды.

В ИТОГЕ:
— Точность распознавания составила 99.1%;
— Полнота распознавания 97.8%.

Где точность - это вероятность того, что найденный выстрел - это действительно выстрел, полнота - вероятность того, что существующий выстрел будет найден.

Бизнес-задача и ее решение

PROBLEM: for professional practitioners in practical shooting, the speed of the exercise is of great importance. Even tenths of a second matter. There is a demand for a tool that would allow an athlete to very accurately compare the passage of the same exercise between yourself and yourself or between yourself and another athlete. Such a tool will allow you to see at what moments other shooters overtake you and understand why this is happening. With the help of this tool, the shooting technique will be improved.

To solve this problem, the Doubletapp team implemented an iOS application, which includes:

- Recognition of the sounds of shots and starting signals from the video completely offline on the iOS device;
- Display of recognized sounds on the timeline;
- A convenient interface for comparing two videos with the visibility of when each shot occurred and how much time was between shots;
- The ability to save the final video analysis of the shooting.

Recognizing shots by sound may seem like a simple task that can be solved with some accuracy by determining shots by volume. This decision was developed as a baseline and turned out to be very inaccurate: more than half of the sounds were not shots. Other loud sounds at the shooting range include speech that is often heard near the camera and various clangs of weapons. Also, this approach did not help with the recognition of start signals.

Therefore, we used neural networks. The client provided us with more than a thousand videos from the shootings, and we developed a tool that allowed us to quickly mark the locations of the shots and the starting signals in the video. The developed neural network consists of convolutional and recurrent layers and receives spectrogram as the input. The network has been integrated into the application using CoreML and works completely offline.

_____________

ПРОБЛЕМА: у профессиональных спортсменов по практической стрельбе огромное значение имеет скорость прохождения упражнения. Имеют значение даже десятые доли секунды. Необходим инструмент, который позволит очень точно сравнивать прохождение одного и того же упражнения себя с самим собой или себя с другим спортсменом. Такой инструмент позволит видеть в каких моментах другие стрелки тебя обгоняют и понимать почему это происходит. За счет этого техника стрельбы будет совершенствоваться.

Для решения этой задачи команда Doubletapp реализовала iOS-приложение, включающее в себя:

— Распознавание звуков выстрелов и стартовых сигналов из видео полностью оффлайн на iOS-устройстве;
— Отображение распознанных звуков на временной шкале;
— Удобный интерфейс для сравнения двух видео с видимостью того, когда произошел каждый выстрел и сколько времени было между выстрелами;
— Возможность сохранить итоговое видео анализа стрельбы.

Распознавание выстрелов по звуку может показаться простой задачей, которую с некоторой точностью можно решить с помощью определения выстрела по громкости. Такое решение было получено в качестве бэйзлайна и оказалось очень не точным: больше половины звуков не являлись выстрелами. Среди громких звуков на стрельбище часто встречается речь, произнесенная возле камеры и разные лязги оружия. Также такой подход не помогал в распознавании стартовых сигналов.

Поэтому мы задействовали нейронные сети. Клиент предоставил нам более тысячи видео со стрельб, и мы разработали инструмент, который позволил нам быстро разметить в видео места выстрелов и стартовые сигналы. Разработанная нейронная сеть состоит из сверточных и рекуррентных слоев и работает поверх спектрограммы. Сеть была интегрирована в приложение с помощью CoreML и работает полностью в оффлайн режиме.

Прочая информация о кейсе

At the beginning of 2018, the world practical shooting champions Alena Karelina and Roman Khalitov applied to our company Doubletapp. In their sport, the main indicator is the hit factor: the number of points scored divided by the duration of the exercise. Therefore, it is important not only to shoot accurately, but to do it as quickly as possible.

The HitFactor Shots Analysis mobile application is a professional tool that helps an athlete find weaknesses in his or her exercise technique and allows you to compare yourself with other shooters.

It recognizes the sounds of shots and the start signal of the beginning of the exercise, then displays them on a timeline, which allows you to analyze in detail each action of the athlete at any time from the beginning to the end.

HOW IT WORKS?

You record exercise video on your phone, the application analyzes it, marks the sounds of the shots and the start signal on the timeline, counts the intervals between shots. Based on this information, you can understand which movements you spend the most time on.

You can also compare two videos: yourself with yourself or yourself with another athlete. Videos are synchronized by start signals, and on the timeline you can see a comparison of the speed of shots at different points in time.

The final shooting analysis video can be saved in Full HD format.

_____________

В начале 2018 года в нашу компанию Doubletapp обратились чемпионы мира по практической стрельбе: Алёна Карелина и Роман Халитов. В их виде спорта главный показатель — это хит-фактор: количество набранных очков деленное на время прохождения упражнения. Поэтому важно не только точно стрелять, но и делать это максимально быстро.

Мобильное приложение HitFactor Shots Analysis — профессиональный инструмент, который помогает спортсмену найти слабые места в своей технике прохождения упражнения и позволяет сравнивать себя с другими стрелками.

Оно распознает звуки выстрелов и стартовый сигнал начала упражнения, отображает их на временной шкале, что позволяет детально проанализировать каждое действие спортсмена в любой момент времени от начала и до конца.

КАК ЭТО РАБОТАЕТ?

Вы записываете на телефон видео прохождения упражнения, приложение анализирует его, отмечает на таймлайне звуки выстрелов, стартовый сигнал, считает интервалы между выстрелами. На основе этой информации можно понять на какие движения вы тратите наибольшее время.

Также можно сравнить два видео: себя с самим собой или себя с другим спортсменом. Видео синхронизируются по сигналам старта, а на таймлайне можно увидеть сравнение скорости выстрелов в разные моменты времени.

Итоговое видео с анализом стрельбы можно сохранить в Full HD формате.

Статья о проекте попала в лучшее на vc.ru https://vc.ru/tribuna/92856-kak-neyroseti-pomogayut-razvivat-navyki-po-strelbe-istoriya-ot-chempionov-mira

Подробнее узнать о приложении и увидеть его в деле можно в нашем видео-интервью с заказчиками https://youtu.be/nSBalSVjtk8

Скриншоты

Видео

Комментарий заказчика

We are very glad that we contacted Doubletapp for the development of the application that we needed to improve our professional shooting skills.

They are real professionals in their field, they respond promptly to any issues or questions arising in the process of creating a product, we are very pleased to work with them!
The app turned out really worthwhile and useful!

____________

Очень рады, что обратились к ребятам из Doubletapp за разработкой приложения, которое было необходимо нам для улучшения наших профессиональных навыков в стрельба.

Ребята профессионалы своего дела, оперативно реагируют, на поправки возникающие в процессе создания продукта, очень довольны совместной работой с ними!
Приложение получилось действительно стоящее и полезное!