Разработка сервиса «Спектрограмма» для диагностики дефектов речи у детей

Главное о кейсе

Speech defect recognition accuracy is more than 80% for high-quality audio.

The project was short-listed in the Digital Project nomination of the Platinum Ounce competition for pharmaceutical industry professionals.
___

Точность распознавания дефектов речи составляет более 80% для качественных аудио.

Проект вошел в шорт-лист номинации «Digital-проект» конкурса профессионалов фармацевтической отрасли «Платиновая унция».

Бизнес-задача и ее решение

Task

We had to develop a tool that would be:
Easy to use and will allow a large number of users to be diagnosed at the same time;
Confirmed by the expert community – all tasks should be prepared together with professional doctors;
Automate and improve the initial patient consultation process.

Solution

To achieve all the goals we have developed and integrated at the portal service «Spectrogram». It looks like a chatbot in a widget format on the site with the possibility of recording audio files. Testing takes place in the form of a game: under the guidance of parents, the child must pronounce the suggested phrases, and at this time the ML model automatically determines whether the phrase is pronounced with a defect. Then the information is forwarded to the speech therapist, and he determines on the basis of the program's conclusion whether the child needs a doctor's intervention. The test results are sent to parents by e-mail.
One of the difficulties in the implementation of the project – the lack of sufficient data to train the model and the complex markup of the data for training the neural network. Therefore in the beginning as training data to improve the accuracy of the model we used the user's records from the widget, which at the first stage were processed by the speech therapists entirely manually.
The widget is implemented taking into account the UX/UI features for parents, as well as taking into account the child's interaction with the interface during testing. The tasks themselves are developed by speech therapists and then adapted to the chatbot interface.

___

Задача:

Мы должны были разработать инструмент, который будет:

простым в использовании и позволит проходить диагностику одновременно большому количеству пользователей;

подтвержденным экспертным сообществом – все задания должны быть подготовлены совместно с профессиональными врачами;

автоматизировать и улучшить процесс первичной консультации пациентов.

Решение:

Для достижения всех целей мы разработали и интегрировали на портал сервис «Спектрограмма». Он выглядит как чат-бот в формате виджета на сайте с возможностью записи аудиофайлов. Тестирование происходит в игровой форме: под руководством родителей ребенок должен произнести предложенные фразы, а в это время ML-модель в автоматическом режиме определяет, произнесена ли фраза с дефектом. Дальше информация перенаправляется логопеду, и он на основе заключения программы определяет, нужно ли ребенку вмешательство врача. Результаты тестирования отправляются родителям на почту.

Одна из сложностей в реализации проекта – отсутствие достаточного количества данных для обучения модели и сложная разметка данных для обучения нейросети. Поэтому вначале в качестве обучающих данных для улучшения точности модели мы использовали записи пользователей из виджета, которые на первом этапе обрабатывались логопедами полностью вручную.

Виджет реализован с учетом особенностей UX/UI для родителей, а также с учетом взаимодействия ребенка с интерфейсом во время прохождения тестирования. Сами задания разработаны логопедами, а затем адаптированы под интерфейс чат-бота.

Прочая информация о кейсе

To combat the fears of parents, stereotypes and improve general medical literacy, Geropharm created the portal PRO.MOZG, which published educational articles about cognitive development.

We developed the Spectrogram service for the portal. With the help of artificial intelligence technology, it helps identify speech development disorders in children up to six years old.
___

Чтобы бороться со страхами родителей, стереотипами и повышать общую медицинскую грамотность, компания «Герофарм» создала портал ПРО.МОЗГ, на котором публикует образовательные статьи о когнитивном развитии.

Для портала мы разработали сервис «Спектрограмма». С помощью технологий искусственного интеллекта он помогает определять нарушения развития речи у детей до шести лет.

Скриншоты