Разработка мобильной платформы для уроков игры на пианино

Главное о кейсе

The MVP at the stage of Proof of Concept allowed securing funds of € 133 000 from the Brandenburg Ministry of Economics, Labor and Energy (MWAE), Germany through the ILB.

Competition winner. Best Presentation, Sophia Business Angels, International Venture Academy “Halbestundeueben - Based on AI, an app for music students that makes it possible to practice every imaginable piece of music”.

Media coverage - Startup Valley, NDR, etc.

Top 50 Education apps in Germany with no marketing budget.
--------------------------------------------------------------------------------------------------------------------------------------

Продукт на стадии Proof of Concept получил грант 133 000 Евро от Министерства экономики, труда и энергетики Бранденбурга (MWAE), Германия.

Победитель International Venture Academy, Sophia business Angels (международная организация инвесторов ) - Лучшая презентация “Halbestundeueben - Приложение, основанное на ИИ для студентов-музыкантов, которое позволяет практиковать музыкальные произведения”.

Публикации в прессе - Startup Valley, NDR и др.

Приложение вошло в топ-50 приложений Германии в категории «Образование» без продвижения.

Бизнес-задача и ее решение

The client needed to test the viability of the business idea and determine whether the demand for such a solution existed in the market. We were tasked to come up with a solution that would provide a teaching aid to the students and enable them to practice to perfection the musical passages provided by the teacher. From a technical standpoint, the mobile app had to record, analyze, and accurately compare audio files, i.e. the recording of the music passages performed by the teacher and the student.

The challenge was to come up with an algorithm that would accurately analyze and compare the recordings.

We held extensive research and after a few iterations, focused on Dynamic Programming. We discovered that the solution based on a mathematical algorithm and statistical analysis was able to provide accuracy of 80-95%, the highest we had seen at the time among available solutions on the market.
-----------------------------------------------------------------------------------------------------------------------------------------------
Нужно было найти и реализовать решение, которое поможет ученику определять ошибки в своем исполнении заданного учителем музыкального произведения. С технической стороны задача заключалась в необходимости сравнить аудиофайлы с записями музыкального произведения, исполненного преподавателем и учеником, и идентифицировать несоответствия.

В рамках решения этой задачи, а именно при создании MVP, мы использовали продуктовый подход и методологию Scrum. Работа велась по методологии Lean Startup и началась с проработки и структурирования концепции. На этапе проработки идеи мы провели обширную работу:

- исследовали рынок и конкурентов;
- выделили сегменты пользователей;
- конкретизировали, какие сложности возникают в процессе обучения;
- сформулировали гипотезы о том, что и как поможет разрешить эти сложности;
- провели интервью с заказчиком и потенциальными пользователями;
- сформулировали ценность для пользователей и желаемый бизнес-результат;
- определили приоритетные задачи, которые помогут быстро добиться этих результатов и снизят риски в дальнейшей работе.

Структурировать и визуализировать эту информацию помог Lean UX Canvas.

Концепция была реализована в виде iOS-приложения, которое осуществляет запись, воспроизведение и сравнение аудиофайлов (эталонного и пользовательского). Сложность реализации этой задачи состояла в том, чтобы найти технологию, которая позволяет точно анализировать параметры (темп, ритм, сыгранные ноты) музыкальных отрывков, исполненных преподавателем и учеником. Мы провели исследование и несколько итераций по разработке, чтобы найти решение, которое позволило с точностью 80-95% определять несоответствия между двумя аудиофайлами и конкретизировать их. В основе приложения был использован математический алгоритм: статистика и динамическое программирование.

Работа с приложением выглядела так:

- Преподаватель исполняет музыкальное произведение в присутствии ученика и записывает на его телефон.
- Дома ученик исполняет и записывает свой отрывок.
- Приложение производит сравнение, определяет и визуализирует несоответствия.

Эта версия продукта позволила доказать работоспособность идеи и востребованность продукта, а также собрать обратную связь от пользователей. Оказалось, что при наличии посторонних шумов во время записи аудиофайла снижается качество сравнения и, как следствие, точность определения несоответствий. Таким образом, мы отработали цикл обратной связи “создать-оценить-научиться”. После этого были внесены изменения, которые полностью исключают необходимость присутствия преподавателя и позволяют:

-сфотографировать ноты;
-преобразовать их в качественное изображение;
-воспроизвести автоматически сгенерированную на основе отсканированного изображения эталонную мелодию.

За эту функциональность отвечают следующие процессы и технологии:
-сканирование нотного стана и машинное зрение;
-бинаризация полученного изображения;
-выгрузка полученного изображения на бекенд;
-оптическое распознавание бинаризованного изображения, цель которого научить программу читать и интерпретировать ноты и создавать машиночитаемую версию нот;
-воспроизведение полученного аудиофайла.

Благодаря этому ученик может оттачивать свои навыки без вовлечения преподавателя, используя эталонную версию музыкального произведения.

На данный момент ведется работа над функциональностью, которая позволит продолжить тестирование и проверить бизнес-модель стартапа. Данная функциональность позволит записывать мелодию, исполненную учеником и сравнивать с эталонным отрывком для выявления ошибок. Для этого используется технология Искусственного Интеллекта, а именно алгоритм машинного обучения с учителем (Supervised learning).

Прочая информация о кейсе

HulbeStundeÜben is a mobile app designed to help music students practice playing their instruments with minimal tutor participation. Our client, a young entrepreneur from Germany, is passionate about playing the piano. The idea for the app was born out of his desire to make music lessons affordable and convenient. Although this idea appeared before the Coivd-19 pandemic, the app is highly relevant in the current situation when people are required to minimize social contacts.
----------------------------------------------------------------------------------------------------------------------------------------------
Чтобы научиться искусно играть на музыкальном инструменте, необходимо усердие и регулярная практика. Но занятия с репетитором по несколько раз в неделю могут позволить себе далеко не все. Да и согласование удобного времени плюс дорога к месту проведения занятий усложняют процесс обучения.

У молодого предпринимателя из Берлина появилась идея — сделать практические занятия не только удобными, но и снизить общую стоимость обучения, минимизировав в нём личное присутствие преподавателя. Идея родилась до всемирной пандемии Covid-19, но оказалась крайне актуальной в период строгого социального дистанцирования.

Скриншоты

Комментарий заказчика

Konig Labs developed the MVP which allowed me to validate my hypothesis and determine that the market existed for such a solution. This allowed me to get funding of €133,000 to further develop the product.