Приложение для определения билирубина в крови — Bilimer

Главное о кейсе

Научные исследования в начале этого проекта потребовали полгода с привлечением лучших специалистов по обе стороны МедТех.

Медицинскую часть разработки курировали врачи заказчика, компании «Армед-03», под руководством Эрдыни Балданова — эксперта по новорожденным, педиатра и врача-неонатолога с многолетним опытом работы. . Кроме того, привлекались дополнительные консультанты из числа практикующих неонатологов, которые помогли со сбором первичных данных.


Алгоритмическую часть разработки от Текмэн вел Антон Стефаниди — эксперт с 10-летним опытом в сфере компьютерного зрения, биометрической идентификации, а также различных систем, основанных на алгоритмах машинного обучения и искусственного интеллекта. Специалист публикуется в российских и зарубежных научно-исследовательских изданиях, выступает на отраслевых конференциях и обменивается опытом с коллегами из Google, Facebook и других крупных IT-компаний.

Симбиоз IT и медицины дал отличный результат.

Мобильным приложением уже пользуются 2 500 человек. Значит, несколько тысяч ребятишек получают регулярный присмотр без лишнего стресса, у них будет необходимая медицинская помощь и не будет осложнений от желтухи.

Компания «Армед-03» увеличила охват среди своей целевой аудитории, повысила конверсию по оказываемым услугам. В результате инвестиции в методологию и разработку окупаются уже сейчас.

Уже составлен список доработок для развития «Bilimer». Он довольно объемный, потому что в процессе создания первой версии решения появилось много идей и гипотез о том, как повысить точность диагностики, сделать мобильное приложение еще удобнее, а бизнес-интеграции еще продуктивнее.

Прочая информация о кейсе

МедТех для младенцев, родителей и врачей

IT-компания Текмэн разработала мобильное приложение, которое помогает диагностировать желтуху по фото со смартфона

Что такое билирубин и почему он опасен
За красивым названием «билирубин» скрывается коварный желчный пигмент, который образуется при распаде эритроцитов. Для здоровых взрослых это ровным счетом ничего не означает — просто один из многих естественных процессов в организме.

Но для новорожденных билирубин часто становится серьезной проблемой. Дело в том, что избыток билирубина, от которого вовремя не помогли избавиться ребенку, может вызвать расстройства нервной системы и различные осложнения. В их числе:

Глухота
Слепота
Паралич
Отставание в развитии
Психические расстройства

Это негативные сценарии запущенной желтухи — самого частого заболевания в младенчестве, которому подвержены 8 из 10 детей.

Вот почему так важно следить за уровнем билирубина, особенно с первой недели до первого месяца жизни. Только как раз через неделю подавляющее большинство детей уже выписаны из роддома, и родители меньше всего хотят возвращать их в больницу для анализов.

Как правило, проверяться на желтуху начинают после появления явных и тревожных симптомов:

Заметное изменение цвета кожи, в том числе на ладонях и стопах
Долгий нездоровый сон
Вялое сосание груди
Судороги

Доводить до такого крайне нежелательно. Слишком большой риск для здоровья малыша — что тем более обидно, ведь своевременно замеченная желтуха легко и безболезненно лечится с помощью фототерапии.

Ранняя диагностика желтухи на дому
В настоящее время существует два основных способа замера уровня билирубина, в том числе у новорожденных:

По анализу крови. Это самый точный метод, но результата придется подождать. Кроме того, маленького пациента могут нечаянно травмировать или даже инфицировать.
Оптико-электронный метод с помощью билирубинометра — дорогого устройства, которое тем не менее высокой точности диагноза гарантировать не может.

И в любом случае, ребенка придется везти в больницу. Что означает лишний стресс, потерю времени, потенциальный риск подхватить какую-то инфекцию. Как правило родители просто не проверяли своих детей без крайней необходимости. То есть дожидались обострений, когда подозрения на желтуху становятся слишком очевидными.

В качестве инновационного решения врачи «Армед-03» предложили выполнять диагностику желтухи по фотографиям детей — на обычный смартфон, что родителям будет несложно сделать дома.

Так в «Текмэн» стартовала разработка IT-решения для определения уровня билирубина на основании анализа цифровых изображений.

Прежде всего нужна была теоретическая база для подобной диагностики, поэтому проект начался с научно-исследовательской работы. Она велась в лучших традициях МедТеха — в тесном сотрудничестве IT-специалистов с врачами.

Неонатологи, которые «ведут» малышей с первых дней жизни, рассказали о методологии определения опасного уровня билирубина по изменению оттенка кожи.

Программисты проанализировали техническую сложность и риски предлагаемого решения. В частности, на качество анализа может повлиять модель смартфона, качество оптики, уровень освещенности помещения, даже поза ребенка.


Совместно был сформулирован подробный список требований к терапевтической фотосессии:

— Естественное освещение (через окна в солнечный день) или яркий, но не точечный источник искусственного света (несколько ламп или люстра)
— Ребенок спокоен, он не плачет, не после ванны, массажа (все это может повлиять на цвет кожи)
— Ребенок лежит на белой пеленке (для хорошего контраста с фоном)
— Никакой яркой и цветной одежды, лишних предметов в поле зрения (для защиты от отсветов и отблесков)
— Ракурс подобран таким образом, чтобы фотография ребенка занимала не менее 80% кадра
— Фокус выставлен на область с кожей, по которой проверяется цветность

Врачи «Армед-03» с разрешения родителей своих маленьких пациентов начали собирать фотобанк контрольных снимков. В ходе их анализа выяснилось, что наиболее удачны для проверки является фото груди младенца.

Программисты Текмэн разработали техническое задание на разработку мобильного приложения и серверной части. А после получения принципиального подтверждения о медицинской допустимости запуска проекта в реализацию — начали обучать нейросети по собранным фотографиям.

Оказалось, что даже несколько дней разницы в возрасте оказывают существенное влияние на достоверность выводов, которые делает система на базе алгоритмов машинного обучения и искусственного интеллекта. Поэтому детей с недели до месяца ранжировали на несколько возрастных групп, измеряемых в днях. Для каждой такой группы велась разработка собственного уникального алгоритма , что в конечном счете привело к появлению целого набора интеллектуальных методов .

Все они в среднем дают достоверность выводов о подозрениях на желтуху с точностью до 84%, что является высоким показателем. Эти выводы были сделаны после проверки более чем 38 000 фотографий малышей.

Методология решения
Математика диагностики в итоге получилась достаточно сложной, поэтому основную нагрузку по анализу фотографий вынесли на серверную часть решения.

Для повышения качества исходных данных, помимо соблюдения требований к фотографиям, родителям дали возможность сделать произвольное количество кадров, а затем отобрать 3 наиболее четких и удачных из них для отправки на проверку.

Система, получившая название «Bilimer», анализирует фотографии, и делает одно из заключений:

Зеленый маркер — уровень билирубина в норме.
Желтый маркер — уровень билирубина повышен. Можно заказать ультрафиолетовую лампу для фототерапии, а также получить консультацию врача-неонатолога.
Красный маркер — Уровень билирубина критический! Рекомендуется срочно обратиться к врачу, получить консультацию, заказать лампу для фототерапии.

Таким образом, родители получили возможность самостоятельно и без лишних визитов в больницу проверять уровень билирубина у своих детей. В тех случаях, когда нужна медицинская помощь — ее можно получить быстро, с помощью свайпа и нескольких кликов в мобильном приложении.

Технические аспекты
Формальное описание технологического стека разработки, выполненной Текмэн для «Армед-03»:

Мобильное приложение для Android: Kotlin
Мобильное приложение для iOS: Swift
Серверная часть: Fast Api, Postgres
Алгоритмы машинного обучения и нейронные сети: TensorFlow, Keras, Scikit-learn
Интеграция с CRM: Битрикс24

Интеграция с CRM позволяет «Армед-03» контролировать прогресс по всем пациентам, отслеживать заявки на заказ оборудования, а также заявки на консультации специалистов в привычной для себя CRM-системе. То есть с сохранением действующих и привычных бизнес-процессов. Все фотографии привязываются к профилю конкретного ребенка в аккаунте родителя. Это работает в том числе как электронная медицинская карта.

Отдельное внимание уделено безопасности данных:

Физической, в виде регулярного резервного копирования, шифрования при передаче, использовании защищенных каналов связи
Юридической, что заключается в авторизации для получения доступа, а также возможности запросить удаление данных

Наконец, в системе есть панель администратора для управления аккаунтами пользователей. Тажке в её состав входит CMS, упрощающая обновление контента для пользователей мобильного приложения: полезных тематических статей, вопросов и ответов.

К этому нужно добавить, что задействование сложных алгоритмов для анализа фотографий для первичного обучения нейросетей стало возможным благодаря технической базе Текмэн. Использовался пул скоростных графических процессоров, без которых такой объем данных просто не получилось бы «переварить» для получения финальных версий алгоритмов.

Скриншоты