Рейтинги сервисов
и технологий
Регистрация
Рейтинг платформ и сервисов для тестирования мобильных приложений 2016 Рейтинг платформ и сервисов для тестирования мобильных приложений 2016

Рейтинг платформ и сервисов для тестирования мобильных приложений 2016

Эмуляторы, бета-тестирование, тест-кейсы

18 апреля 2016

# Название Год Бесплатная версия Цена
1 +1
2001
×
2 +1
2007
×
3
−2
2010
×
4 +2
2009
×
$20 (сервер),
$25 (облако)
4 0
2013
$11–34
4 new
2011
×

Среди других платформ и сервисов для тестирования мобильных приложений при обработке данных респондентов рассматривались Espresso, HockeyApp и TeamCity.

О рейтинге

Рейтинг платформ и сервисов для тестирования мобильных приложений выпускается Тэглайном впервые и сформирован на основе анкетирования (проводилось с августа 2015 по апрель 2016 года) 70+ мобильных разработчиков и digital-продакшнов с экспертизой в mobile: респондентам предлагалось ответить на вопрос «Какие платформы и сервисы (включая эмуляторы) для тестирования приложений и других решений для мобильных устройств вы используете?».

В Топ вошли инструменты тестирования iOS SDK и Android SDK, эмуляторы, сервисы для бета-тестирования и система для ведения тестовой документации и учета результатов выполнения тестов.

Динамика приводится по сравнению с данными, полученными Тэглайном за период с августа 2014 по июль 2015 года.

Комментарии экспертов

Сергей Денисюк
MobileUp, CEO
Максим Десятых
Redmadrobot, Креативный директор
Всеволод Иванов
Touch Instinct, СТО
Вадим Митякин
AGIMA.mobile/Gals, Руководитель отдела проектирования
Денис Царев
Morizo, Business Development Director

1. В чем основные отличия в принципах тестирования мобильных и веб-приложений?

Сергей Денисюк, MobileUp
Принципы тестирования зависят от тест-кейсов и не зависят принципиально от платформы, особенно в плане логики.

Максим Десятых, Redmadrobot
При тестировании мобильных приложений нужно учитывать, что существует большое количество таргет-девайсов (планшетов, телефонов и т. д.) с сильно разными характеристиками, ограничениями по производительности, размеру экранов и плотности пикселей. Необходимость тестировать специфичные для разных сетевых подключений кейсы (LTE, 3G, Wi-Fi), обращать отдельное внимание на LBS\GPS сценарии и на тестирование взаимодействия с нативными приложениями ОС, прерываниями системы и нативными permissions. Важно следить за прохождением приложений ревью Apple \ Google и соответствием их требованиям, также процесс обновления приложений в магазинах требует отдельного тестирования и повышенного внимания. С точки зрения автоматизации тестирования много своей специфики, которой нет у веба и десктопа.

Всеволод Иванов, Touch Instinct
При тестировании приложения нужно учитывать то же, что и для веба, плюс: работу при отсутствии подключения к интернету или при подключении с частыми разрывами, миграцию данных при обновлении версии, поведение приложения при изменении ориентации устройства, включении, выключении экрана, переходе в другое приложение и входящих звонках, возможные утечки памяти, большой «зоопарк» разных версий операционных систем и разрешений экранов.

Вадим Митякин, AGIMA.mobile/Gals
Одно из отличий — разница в количестве технических платформ для тестирования. В случае веб-приложений достаточно закрыть вопрос по ключевым браузерам и их версиям, в случае с мобильными приложениями получается несколько сложнее. Необходимо проверить работу приложений не только на разных версиях операционных систем, но и на разных устройствах. В результате, если подходить серьезно, получается несколько десятков тестовых устройств, что, конечно же, дорого и долго.

Второе отличие — это пользовательский опыт. Маленький экран мобильного устройства не терпит ошибок UX-проектирования. Это тоже одна из задач тестирования — убедиться, что на этапе проектирования не было допущено подобных ошибок.

Денис Царев, Morizo
Основное отличие в том, что надо тестировать на реальных девайсах. Тестирование в эмуляторах мало результативно и позволяет отловить только самые вопиющие вещи. В этом ключе рост фрагментации платформ дает очень серьезную нагрузку на бюджет лаборатории, и разработчики начинают смотреть в сторону сервисов типа Amazon Device Cloud.

2. Есть ли какие-либо различия в тестировании приложений на различных мобильных платформах?

Сергей Денисюк, MobileUp
Каждая мобильная платформа имеет индвидуальное, присущее лишь ей поведение: жесты, анимация, компоновка.

Максим Десятых, Redmadrobot
Существуют принципиальные различия в используемых инструментах тестирования, специфике публикации в сторах и большей сегментации Android-девайсов. Есть определенные, накопленные опытом edge cases (пограничные кейсы), которые отличаются от платформы к платформе и находятся за рамками базового набора тестов.

Вадим Митякин, AGIMA.mobile/Gals
Разница определяется возможностями сред разработки. В последнее время между iOS и Android наметился паритет, но, правда, в основном за счет сторонних средств тестирования.

3. Как распределяются приоритеты в тестировании мобильных приложений?

Сергей Денисюк, MobileUp
High — приложение крашится, middle — неверная логика работы (баги), low — кривой UI, новые фичи, улучшения. Зачастую в middle попадают новые фичи, если они действительно нужны в текущей итерации.

Максим Десятых, Redmadrobot
Для нас приоритет чаще всего будет следующим: функциональное тестирование, smoke test, bug verification, FT, regression test по тест-кейсам или чек-листу по приоритетам, ad hoc, нефункциональное тестирование (security, performance, UI/UX).

4. Какие тренды вы бы могли отметить в области тестирования мобильных приложений и в развитии сервисов, предлагаемых для него?

Сергей Денисюк, MobileUp
Есть несколько методологий тестирования, распространенных среди разработчиков. Особых трендов тут нет. Каждый тестирует в меру своей ответственности, часто это происходит в обход сторонних сервисов. В каждой программной среде есть встроенные утилиты, в Xcode, например, мы проверяем на утечки в памяти, частоту и размер серверных запросов, плавность работы.

Паспорт

70+ респондентов
23 средний штат компании
Количество сервисов, используемых в компании
От 1 до 5
2 в среднем
Глоссарий
Инструменты тестирования приложений для мобильных устройств:
— эмуляторы (стандартные в Android SDK, Xcode; Genymotion),
— скриптовые тесты (UI Automation в Xcode и MonkeyRunner в Android SDK),
— нагрузочные тесты,
— monkey testing (Monkey в Android SDK),
— бета-тестирование (TestFlight, Crashlytics).

Эмулятор — программное приложение, создающее экземпляр виртуальной машины версии мобильного устройства и полностью или частично копирующее его функционал.

Бета-тестирование — тестирование бета-версии продукта не штатными разработчиками / тестировщиками, а обычными будущими пользователями.

Подписаться на релизы и анонсы

О Тэглайне

Тэглайн — первое и самое крупное русскоязычное аналитическое агентство, исследующее рынок digital-продакшна, мобильной разработки, интерактивного маркетинга и сопутствующих услуг, а также ведущий сервис подбора подрядчиков в этой области. Работает с 2006 года.

Сервисами, рейтингами и исследованиями Тэглайна активно пользуются заказчики сайтов и комплексных digital-услуг всех ценовых категорий, а для русскоязычных бренд-менеджеров и руководителей digital-направлений крупных международных компаний продукты Тэглайна являются ключевым источником информации при выборе компаний для участия в тендерах.

Комментарии для СМИ

Вопросы?

Подписаться на релизы и анонсы

Мне это нравится