Как мы помогли создать вокальный AI-тренер

Главное о кейсе

Что значит мечта?

А чего стоит нереализованная с детства мечта?

И если то, чего хотелось в детстве - вещь, которую можно купить - проблем нет.

А если это талант, навык, техника?

Ещё сложней, если это пение: всю жизнь мечтаешь петь красиво, чисто, а получается как у мартовского кота.

И пойти учиться некогда, да и позориться взрослому человеку перед репетиторами незачем.
Вот мечта и остаётся нереализованной.

Познакомившись с нами, заказчик поделился своей идеей стартапа: создать приложение для самостоятельных тренировок по вокалу. Он уже в тот момент вёл разработку со своей командой, у них был разработан свой секретный модуль, но “подружить” его с другими элементами и доработать до самостоятельного приложения у них не получалось. Так как кейс нестандартный, заказчику нужна была команда профессионалов, настоящих супергероев.

→ Вызов:
Заказчик очень хотел осуществить мечту каждого человека красиво петь.

Никаких стеснений, никаких чётких графиков: занимайтесь в любое удобное время, получайте новые задания и совершенствуйтесь!

Наша команда решила помочь заказчику и создать приложение, которое будет производить диагностику пения пользователя и определять уровень его навыков. Также мы решили разделить занятия на уровни в зависимости сложности и создать модуль ИИ для формирования задания с целью последовательной прокачки.

Основная цель продукта – доступность и оптимизация процесса репетиции. С помощью данного сервиса пользователь может развить и улучшить свои вокальные данные.

Наша часть работ состояла из следующих пунктов:
- составление бизнес-аналитики
- составление системной аналитики
- реализация обвязки на Swift для подключения модуля анализа
- разработка приложения на платформе iOS

→ Сложности в работе:
Сложность возникла с питчем голоса - тяжело было уловить на пользователе частоту его голоса, поэтому было принято решение доработать эту функцию непосредственно внутри модуля и получать данные из него.

→ Результаты:
- За первые 2 месяца после релиза приложение было скачано более 2000 раз
- Оценка в сторе составила 4,8

Как проект изменил жизнь пользователей

Теперь каждый желающий может научиться правильно и красиво петь.

Бизнес-задача и ее решение

Создать с нуля приложение для iOS, внедрив разработанный заказчиком его закрытый модуль анализа голоса.
К коду этого модуля у нас не было доступа.


→ Что мы сделали?

1) Продумали и реализовали подключение модуля С-код в Swift с разработанной нашей командой обвязкой. Реализация была выполнена таким образом, чтобы содержание самого модуля оставалось закрытым и не было доступно для просмотра, даже нашей команде.
Мы работали с закрытым фреймворком заказчика, что позволяло сохранять анонимность всех используемых авторских алгоритмов.

2) Реализовали флоу урока: экран с бегущими по нему кирпичиками, которые отрисовываются на основании парсинга MIDI-дорожки и отражают её динамику.

3) Создали лиги пользователей: в зависимости от достижений каждый пользователь попадает в свою категорию, где может видеть успехи других.

4) Реализовали функционал подписки – можно приобрести подписку "Pro", заниматься без суточных ограничений и без рекламы.

Крафт (мастерство), реализация, технические детали

Мы работали с закрытым фреймворком заказчика

При этих обстоятельствах мы реализовали подключение модуля С-код в Swift с разработанной нашей командой обвязкой.

Также нами была разработана система индексов.
Это набор вокальных характеристик пользователя, полученных при анализе его пения модулем искусственного интеллекта.
На основе этих характеристик формируется понятный пользователю фидбек по результатам уроков, а также формируется рейтинг для отслеживания своего прогресса относительно других пользователей.

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Мы очень творчески потрудились, заказчик очень в нас верил, что нам удастся оставить его фреймворк анонимным. И мы справились.

Прочая информация о кейсе

Кейс разрабатывался под NDA, поэтому о многом нам приходится помалкивать, но надеемся, что та маленькая часть рассказанного порадует вас, удивит и восхитит!

Текущая доступность работы

Работа доступна, но находится под НДА

Скриншоты