FASTEP: инструкции дополненной реальности к бытовой и профессиональной технике

Главное о кейсе

— Не нужен ассистент-человек для типовых операций

— Повышает точность операций на 90%

— Ускоряет работу на 25%

— Снижает количество ошибок до нуля

— Фиксирует процесс и результат в облаке

— Снабжает данными о состоянии оборудования из SCADA в реальном времени

— Можно совещаться с дистанционным экспертом в экстренных случаях

* * *

— There is no need in a human assistant for typical operations

— It increases the accuracy of operations by 90%

— It speeds up work by 25%

— It reduces the number of errors to zero

— It saves the process and result to the cloud storage

— It provides real-time equipment status data from SCADA

— You can consult with a remote expert in case of emergency

* * *

Отзывы на приложение для бытовой техники в App Store и Google Play:

— Идея классная, надо признать) Попробую запросить инструкции для своей техники, а то ничего из имеющегося дома в приложении не нашлось. Бабушка точно будет рада такому)

— Пять баллов авансом за хорошую идею. Жду больше инструкций и редкие виды техники.

— Ставлю 5 за идею. Потребуется скорее не мне, а жене и ребенку.

— Отличное приложение, отличная идея. Вот ещё бы автомобили добавили.

— Это самое полезное приложение, учитывая, что сейчас так много умной техники, которая стала доступной и ушла в массы. Надеюсь, все пользователи станут не только радоваться покупке, но и осознавать, что вещи нужно беречь. А если, подумать, что неправильная эксплуатация ведёт к травмам, опасным для жизни людей, то ваша миссия вообще великая! Удачи вам! P.S.: Поскорее бы добавили мои модели, которые я внесла :))

Бизнес-задача и ее решение

Мы провели десятки переговоров с такими компаниями, как РЖД, МГТС, РусАл, Норникель, Газпром нефть, СИБУР и Росатом, чтобы выявить проблемы, которые может решить FASTEP:

— Инженерно-техническому персоналу нужны эффективные инструкции, информация об оборудовании — и всё это должно быть под рукой, потому что работу нужно делать точнее, проще и быстрее.

— Предприятиям нужно снижать количество ошибок, эффективнее учить персонал, уменьшать простои и сокращать расходы на техобслуживание.

Наш продукт обеспечивает следующие преимущества:

— FASTEP предлагает решения узконаправленных задач (запустить конкретный процесс, провести диагностику, включить режим — то, до чего в обычной инструкции ещё нужно добраться);

— инструкции пошаговые, шаги идут один за другим, их нельзя перепутать, завершение процесса понятно, а выполнение работы идёт по мере закрытия шагов, то есть когда вы завершили шаги, вы выполнили задачу;

— нейросети узнают модель техники и сразу предлагают релевантные инструкции, нет необходимости выбирать из всего списка оборудования на предприятии;

— модуль дополненной реальности выделяет нужный орган управления (например, кнопку или рычаг) прямо на устройстве и запоминает его позицию в пространстве, чтобы стрелкой вернуть вас к выполнению инструкции, даже если вы отвлеклись, отвернулись или отошли.

В промышленное решение также добавлены следующие функции:

— Режим проверки знаний. FASTEP отключает визуальные подсказки, следит за рукой пользователя и понимает, когда пользователь производит операцию с нужным органом управления. При совпадении действий с программой открывается следующий шаг. Так пользователь лучше запоминает шаги, может проверять их самостоятельно на тестовом оборудовании или по запросу начальства.

— Интеграция с информационными системами предприятия. Мы учим приложение показывать данные об оборудовании из информационных систем, таких как SCADA, без физического подключения к нему. Пользователь в очках или со смартфоном видит на дисплее изменения статусов оборудования в реальном времени и ещё до начала требуемых операций понимает актуальное состояние техники.

— Запись действий пользователя. FASTEP способен вести видеозапись работ, сравнивать прохождение шагов инструкции с показателями из корпоративной информационной системы.

Демо-видео: https://www.youtube.com/watch?v=BW4udbamGjE

Прочая информация о кейсе

FASTEP — это платформа для создания инструкций дополненной реальности к оборудованию для домашнего и профессионального использования. Для пользователя FASTEP представляет собой мобильное приложение, с которым, наводя камеру на интерфейсы любой техники, от микроволновых печей до станков металлообработки, человек получает пошаговые подсказки для выполнения конкретных задач.

Доводы в пользу интерактивных инструкций:

— Непонятные инструкции злят и вызывают разочарование (https://www.sharonburton.com/wp-content/uploads/2012/07/ConsumerFeelingsBurton2012.pdf)

— Инструкции в дополненной реальности имеют преимущества перед аналогами на физических носителях (https://link.springer.com/article/10.1007/s12008-017-0451-7)

— Пользователи предпочитают AR-руководства бумажным и говорят, что технология помогает воспринимать информацию (https://link.springer.com/chapter/10.1007/978-3-319-03161-3_11)

— Обучение на основе AR снизило частоту ошибок и уменьшило время на разъяснения по сравнению с видео (https://link.springer.com/article/10.1007/s10055-019-00415-8)

— Производителям необходим клиентоориентированный подход к разработке учебных материалов (https://link.springer.com/chapter/10.1007/978-3-642-39253-5_49)

Нужно согреть кофе в незнакомой микроволновке? Легко. Нужна подсказка по проведению диагностики электронасоса на газодобывающей скважине? FASTEP поможет.

Это мобильное приложение для смартфонов/очков, облачный сервер для нейросетевых вычислений и веб-интерфейс для управления базой инструкций.

Алгоритм работы приложения прост:

1) Навести камеру на оборудование

2) Выбрать инструкцию из предложенных

3) Пройти шаги

Всё это работает в нашем бесплатном приложении для бытовой техники. Скачав его, вы сможете оценить некоторые базовые функции, которые мы закладываем в наш основной, более сложный продукт для промышленного рынка.

Производителям промышленного оборудования мы предлагаем платформу, которая объединяет пошаговые инструкции, визуальные подсказки в дополненной реальности, нейросети для автоматического узнавания моделей, чтобы сразу давать релевантные инструкции, а также интеграцию с информационными системами предприятий для получения и демонстрации данных о технике в реальном времени и систему тестирования сотрудников на знание функций этой техники. Мы также можем фиксировать работы на видео и, несмотря на автономный характер нашего помощника, осуществлять видеосвязь с дистанционным экспертом для принятия решений в экстренных ситуациях.

Области применения

Тяжмаш

Отрасль тяжёлого машиностроения производит огромное количество сложного оборудования, пользователям которого нужны инструкции по эксплуатации. Конечно, далеко не все инструкции сейчас выглядят как обычные цифровые или бумажные документы. Это могут быть целые вики-системы данных с гипертекстом, видеоруководства и крайне наглядные решения виртуальной реальности. FASTEP имеет преимущества и перед ними. Например, дополненная реальность позволяет проходить инструкцию одновременно с решением задачи и размещает подсказки на самом интерфейсе устройства, делая их намного понятнее. Руководства FASTEP также касаются выполнения конкретных операций (не содержат лишнего) и уложены в элементарные шаги-действия.

Кейс: Компаниям из тяжмаша мы предлагаем масштабировать инструкции для целых линеек техники: одна инструкция по умолчанию работает со всеми устройствами этой модели. Это проявление заботы о клиентах и собственных сервисных инженерах.

Производство

Производственные предприятия могут внедрять инструкции в своему парку техники, не дожидаясь поставщиков. Кроме того, на заводах встречаются индивидуальные образцы техники или машины собственного производства для внутренних нужд. Подсказки по регламентным операциям, особенно редким, помогут правильно и быстро проводить работы. А режим обучения ускорит адаптацию новых кадров.

Кейс: FASTEP внедряется в деятельность внутренних инженеров по обслуживанию оборудования и операторов. Цифровой ассистент ускоряет обучение свежих кадров, помогает опытным сотрудникам при выполнении редких операций, регламентов и в их обучении новым функциям устройств.

Телеком

Развитие нашей компании тесно связано с телеком-бизнесом. Мы можем помогать сервисным бригадам в установке и обслуживании удалённых объектов, обращении с оборудованием широкого спектра, от кранов до генераторов электроэнергии, а также осуществлять навигацию инженеров по стойкам с оборудованием с выводом информации из информационных систем.

Кейс: Инженер выбирает оборудование, требующее внимания, выбирает его в списке приложения, а приложение показывает дорогу к нужной стойке и нужное устройство в стойке. И ещё на подходе на экране отображаются характеристики и актуальные показатели техники. Для полной реализации этих шагов в дополнение к обычному процессу создания инструкций потребуется доступ к информационным системам и упорядоченное пространственное расположение стоек, а также реализация навигации в помещении.

FASTEP is a platform for creating augmented reality instructions for home appliances, professional and industrial machines. For the user, FASTEP is an application for a smartphone and augmented reality glasses, with which, by pointing the camera at the interfaces of any devices, from microwave ovens to metalworking machines, a person receives step-by-step tips for performing specific tasks.

Need to warm coffee in an unfamiliar microwave? Easy. Need a hint on how to diagnose an electric pump on a gas production well? FASTEP will help.

The FASTEP platform is a mobile application for smartphones / glasses, a cloud server for neural network computing and a web interface for managing the instructions database.

The application algorithm is simple:

1) Point the camera at the equipment

2) Choose an instruction from the proposed

3) Go through the steps

All this works in our free app for home appliances. By downloading it, you will be able to appreciate some of the basic functions that we put into our main, more complex product for the industrial market.

For industrial equipment manufacturers, we offer a platform that combines step-by-step instructions, visual cues in augmented reality, neural networks for automatic model recognition for immediately offering relevant instructions, as well as integration with enterprise information systems to obtain and demonstrate real-time technical data and a testing system on the knowledge of the functions of this machines. We can also record work on video and, despite the autonomous nature of our assistant, carry out video communication with a remote expert to make decisions in emergency situations.

Areas of use

Heavy engineering

The heavy engineering industry produces a huge amount of sophisticated equipment whose users need operating instructions. Of course, not all instructions now look like ordinary digital or paper documents. These can be entire data wiki systems with hypertext, video tutorials, and highly visual virtual reality solutions. FASTEP has advantages even over them. For example, augmented reality allows you to go through instructions at the same time as solving a problem and places tips on the device interface itself, making them much more understandable. The FASTEP guidelines are also about performing specific operations (they do not contain superfluous content) and are presented in simple steps.

Case: For heavy machinery industry, we offer scale instructions for entire lines of equipment: one instruction by default works with all devices of this model. This is a manifestation of care for customers and service engineers.

Production

Manufacturing plants can implement instructions in their machinery fleet without waiting for it from suppliers. In addition, at factories there are individual samples of equipment or machines of their own production for internal needs. Tips for routine operations, especially rare ones, will help to work correctly and quickly. And the training mode will speed up the adaptation of newbies.

Case: FASTEP is being implemented in the activities of internal equipment maintenance engineers and operators. The digital assistant accelerates the training of new personnel, assists experienced employees in performing rare operations and in teaching for new device functions.

Telecom

The development of our company, thanks to cooperation with MTS, is closely related to the telecom business. We can help service teams install and maintain remote sites, handle a wide range of equipment, from cranes to power generators, and navigate engineers through equipment racks with information output from information systems.

Case: An engineer selects equipment that needs attention, selects it from the application list, and the application shows the way to the desired rack and the desired device in the rack. And on the way, the screen displays the characteristics and current indicators of the technique. To fully implement these steps will require access to information systems and an ordered spatial arrangement of racks, as well as the implementation of indoor navigation, in addition to the usual process of generating instructions.

Скриншоты

Видео