Рейтинг платформ и сервисов для тестирования мобильных приложений 2018, эмуляторы, бета-тестирование, тест-кейсы

Рейтинг платформ и сервисов для тестирования мобильных приложений 2018

Эмуляторы, бета-тестирование, тест-кейсы

← 2016

23 мая 2018

#	Компания	Год	Бесплатная версия	Цена (в месяц), $
1 0	Xcode	2001	✔	-
2 0	Android SDK	2007	✔	-
$	Directual	2016	Low-code платформа — фреймворк для быстрой разработки
3 +1	Genymotion	2013	✔	$11–34
3 0	TestFlight	2010	✔	-
4 0	Crashlytics	2011	✔	-
5 new	TeamCity	2006	✔	$20 (сервер), $25 (облако)
6 new	HockeyApp	2011		-
7 −3	TestRail	2009

Среди других платформ и сервисов для тестирования мобильных приложений при обработке данных респондентов рассматривались Espresso, Fabric, HockeyApp и TeamCity.

О рейтинге

Рейтинг платформ и сервисов для тестирования мобильных приложений проводится Тэглайном в третий раз и сформирован на основе анкетирования (проводилось с апреля 2016 по май 2018 года) 100+ digital-компаний с экспертизой в mobile: респондентам предлагалось ответить на вопрос «Какие платформы и сервисы (включая эмуляторы) для тестирования приложений и других решений для мобильных устройств вы используете?».

В Топ вошли инструменты тестирования iOS SDK и Android SDK, эмуляторы, сервисы для бета-тестирования и система для ведения тестовой документации и учета результатов выполнения тестов.

Динамика приводится по сравнению с данными, полученными Тэглайном за период с июля 2016 по май 2018 года.

Комментарии экспертов

Сергей Денисюк

MobileUp, CEO

Максим Десятых

Redmadrobot, Креативный директор

Всеволод Иванов

Touch Instinct, СТО

Вадим Митякин

Проектное бюро Eleven, Проектный продюсер мобильных приложений, сервисов, софтовых продуктов

Денис Царев

Morizo, Business Development Director

1. В чем основные отличия в принципах тестирования мобильных и веб-приложений?

Сергей Денисюк, MobileUp
Принципы тестирования зависят от тест-кейсов и не зависят принципиально от платформы, особенно в плане логики.

Максим Десятых, Redmadrobot
При тестировании мобильных приложений нужно учитывать, что существует большое количество таргет-девайсов (планшетов, телефонов и т. д.) с сильно разными характеристиками, ограничениями по производительности, размеру экранов и плотности пикселей. Необходимость тестировать специфичные для разных сетевых подключений кейсы (LTE, 3G, Wi-Fi), обращать отдельное внимание на LBS\GPS сценарии и на тестирование взаимодействия с нативными приложениями ОС, прерываниями системы и нативными permissions. Важно следить за прохождением приложений ревью Apple \ Google и соответствием их требованиям, также процесс обновления приложений в магазинах требует отдельного тестирования и повышенного внимания. С точки зрения автоматизации тестирования много своей специфики, которой нет у веба и десктопа.

Всеволод Иванов, Touch Instinct
При тестировании приложения нужно учитывать то же, что и для веба, плюс: работу при отсутствии подключения к интернету или при подключении с частыми разрывами, миграцию данных при обновлении версии, поведение приложения при изменении ориентации устройства, включении, выключении экрана, переходе в другое приложение и входящих звонках, возможные утечки памяти, большой «зоопарк» разных версий операционных систем и разрешений экранов.

Вадим Митякин, Проектное бюро Eleven
Одно из отличий — разница в количестве технических платформ для тестирования. В случае веб-приложений достаточно закрыть вопрос по ключевым браузерам и их версиям, в случае с мобильными приложениями получается несколько сложнее. Необходимо проверить работу приложений не только на разных версиях операционных систем, но и на разных устройствах. В результате, если подходить серьезно, получается несколько десятков тестовых устройств, что, конечно же, дорого и долго.

Второе отличие — это пользовательский опыт. Маленький экран мобильного устройства не терпит ошибок UX-проектирования. Это тоже одна из задач тестирования — убедиться, что на этапе проектирования не было допущено подобных ошибок.

Денис Царев, Morizo
Основное отличие в том, что надо тестировать на реальных девайсах. Тестирование в эмуляторах мало результативно и позволяет отловить только самые вопиющие вещи. В этом ключе рост фрагментации платформ дает очень серьезную нагрузку на бюджет лаборатории, и разработчики начинают смотреть в сторону сервисов типа Amazon Device Cloud.

2. Есть ли какие-либо различия в тестировании приложений на различных мобильных платформах?

Сергей Денисюк, MobileUp
Каждая мобильная платформа имеет индвидуальное, присущее лишь ей поведение: жесты, анимация, компоновка.

Максим Десятых, Redmadrobot
Существуют принципиальные различия в используемых инструментах тестирования, специфике публикации в сторах и большей сегментации Android-девайсов. Есть определенные, накопленные опытом edge cases (пограничные кейсы), которые отличаются от платформы к платформе и находятся за рамками базового набора тестов.

Вадим Митякин, Проектное бюро Eleven
Разница определяется возможностями сред разработки. В последнее время между iOS и Android наметился паритет, но, правда, в основном за счет сторонних средств тестирования.

3. Как распределяются приоритеты в тестировании мобильных приложений?

Сергей Денисюк, MobileUp
High — приложение крашится, middle — неверная логика работы (баги), low — кривой UI, новые фичи, улучшения. Зачастую в middle попадают новые фичи, если они действительно нужны в текущей итерации.

Максим Десятых, Redmadrobot
Для нас приоритет чаще всего будет следующим: функциональное тестирование, smoke test, bug verification, FT, regression test по тест-кейсам или чек-листу по приоритетам, ad hoc, нефункциональное тестирование (security, performance, UI/UX).

4. Какие тренды вы бы могли отметить в области тестирования мобильных приложений и в развитии сервисов, предлагаемых для него?

Сергей Денисюк, MobileUp
Есть несколько методологий тестирования, распространенных среди разработчиков. Особых трендов тут нет. Каждый тестирует в меру своей ответственности, часто это происходит в обход сторонних сервисов. В каждой программной среде есть встроенные утилиты, в Xcode, например, мы проверяем на утечки в памяти, частоту и размер серверных запросов, плавность работы.

Паспорт

70+ респондентов

23 средний штат компании

Количество сервисов, используемых в компании

От 1 до 5

2 в среднем

О Тэглайне

Тэглайн — первое и самое крупное русскоязычное аналитическое агентство, исследующее рынок digital-продакшна, мобильной разработки, интерактивного маркетинга и сопутствующих услуг, а также ведущий сервис подбора подрядчиков в этой области. Работает с 2006 года.

Сервисами, рейтингами и исследованиями Тэглайна активно пользуются заказчики сайтов и комплексных digital-услуг всех ценовых категорий, а для русскоязычных бренд-менеджеров и руководителей digital-направлений крупных международных компаний продукты Тэглайна являются ключевым источником информации при выборе компаний для участия в тендерах.

Видеотрансляция Церемонии награждения Tagline Awards 2025 (Москва, 5 декабря)

Рейтинг платформ и сервисов для тестирования мобильных приложений 2018

О рейтинге

Комментарии экспертов

Паспорт

Ссылки по теме

Видеотрансляция Церемонии награждения Tagline Awards 2025 (Москва, 5 декабря)

Рейтинг платформ и сервисов для тестирования мобильных приложений 2018

О рейтинге

Комментарии экспертов

Паспорт

Ссылки по теме

Подписаться на релизы и анонсы