Если вы хотите значительно повысить эффективность и продуктивность интерактивного тестирования мобильных приложений в ручном режиме, воспользуйтесь сервисом IBM Mobile Quality Assurance (MQA). MQA - это хостинговый сервис типа Software-as-a-Service (программное обеспечение как сервис), который помогает выпускать приложения неизменно высокого качества. Приступить к использованию сервиса MQA чрезвычайно легко как на стадии подготовки к производственному применению, так и на стадии обслуживания мобильного приложения после выпуска.
Обзор
В настоящее время широко применяется несколько различных методик тестирования и проверки качества мобильных приложений. По мнению IBM, эффективный процесс создания мобильного приложения должен задействовать все применимые методики, поскольку у каждой методики есть свои достоинства и свои недостатки. Эти методики не являются взаимоисключающими. Самая эффективная стратегия обеспечения качества мобильных приложений - сбалансированное использование всех форм тестирования мобильного приложения и объединение полученных результатов в рамках комплексного показателя качества приложения.
Сервис IBM Mobile Quality Assurance спроектирован для использования в качестве базового компонента комплексной стратегии обеспечения качества мобильного приложения. Такая стратегия должна предусматривать исполнение набора автоматических тестов мобильного приложения для каждой его сборки с целью гарантирования его соответствия минимально допустимому уровню качества до того, как с помощью сервисов IBM Mobile Quality Assurance будет выполнена дистрибуция этой сборки интерактивным тестировщикам. Это сократит трудозатраты на регистрацию ошибок и аварийных отказов с расширенной фиксацией контекста.
Дистрибуция через мобильную сеть
После того как новая сборка приложения успешно пройдет начальный набор автоматических тестов, разработчик может загрузить двоичный файл приложения (apk или ipa) в сервис IBM Mobile Quality Assurance и идентифицировать специалистов, которых следует уведомить о доступности этой новой сборки. Каждый участник коллектива оценщиков/тестировщиков мобильного приложения получает электронное письмо с уведомлением о новой сборке приложения. Когда тестировщик нажмет на ссылку в этом уведомляющем электронном письме, новая версия приложения будет автоматически загружена на его мобильное устройство, установлено и подготовлено к немедленному тестированию. Каждый тестировщик мобильного приложения может быть уверен в том, что имеет требуемую сборку приложения, подлежащего тестированию.
Отчетность и обратная связь по ошибкам - изнутри приложения
Когда тестировщик выполняет интерактивное тестирование приложения в ручном режиме и выявляет какой-либо дефект, он может воспользоваться соответствующей функцией сервиса IBM Mobile Quality Assurance для получения отчетности по этому дефекту непосредственно из тестируемого приложения. Эта функция позволяет сообщать о дефекте изнутри приложения, тестируемого на мобильном устройстве тестировщика.
Тестировщик просто встряхивает мобильное устройство, после чего тестируемое приложение переходит в режим отчетности об ошибках. Этот режим приостанавливает нормальное поведение мобильного приложения и позволяет пользователю сделать один или несколько снимков экрана непосредственно из приложения. Тестировщик может сопроводить снимки экрана линиями, кругами, стрелками - любыми фигурами, которые можно нарисовать пальцем.
После регистрации снимка экрана тестировщику предоставляется текстовое окно для описания дефекта. Введя описание проблемы, тестировщик нажимает кнопку Report, и информация о дефекте отсылается по сети в сервис IBM Mobile Quality Assurance. Помимо представленной в явном виде информации от тестировщика (снимки экрана и текстовое описание), регистрируются и отсылаются подробные технические сведения о контексте мобильного приложения и устройства, на котором оно исполнялось.
Перечислим некоторые элементы этого контекста для каждого регистрируемого дефекта:
- Тип мобильного устройства.
- Мобильная операционная система и номер ее версии.
- Используемая сеть, включая провайдера и параметры беспроводного соединения.
- Доступная память устройства и степень ее использования.
- Информация системного журнала вплоть до момента формирования отчета о дефекте.
- Уровень заряда батареи.
Эта подробная техническая информация обладает большой ценностью - она помогает разработчикам мобильного приложения понимать дефекты и отыскивать первопричины проблем.
Анализ аварийных отказов
Сервис IBM Mobile Quality Assurance не только позволяет получать отчетность об ошибках изнутри приложения. Логика этого сервиса регистрирует каждый аварийный отказ приложения. При каждом аварийном отказе приложения весь контекст приложения и устройства, на котором оно исполнялось, регистрируется по состоянию на момент аварийного отказа. Эти критически важные данные, необходимые для анализа дефекта, пересылаются по сети в сервис IBM Mobile Quality Assurance, где они анализируются, а затем передаются в группу разработки.
Если вы используете сервис IBM DevOps для отслеживания дефектов и элементов работ и для управления ими, вы имеете возможность сконфигурировать сервис IBM Mobile Quality Assurance на автоматическое открытие элементов работ для каждого отчета об аварийном отказе или ошибке, поступающего в этот сервис.
Возможности сервиса IBM Mobile Quality Assurance по регистрации данных об аварийном отказе можно задействовать на этапе автоматического выполнения исходного набора тестов приложения, на этапе интерактивного тестирования в ручном режиме и даже после того, как приложение было выпущено и отправлено в магазин мобильных приложений.
Дополнительные аналитические средства сервиса распознают аварийные отказы, которые происходят в одном и том же месте мобильного приложения, и агрегируют их таким образом, чтобы разработчик мог видеть, сколько раз аварийный отказ происходит на определенном участке логики приложения.
Качество - в глазах конечного пользователя
Основное внимание обеспечению качества мобильных приложений уделяется на этапе подготовки мобильного приложения к производственному применению. Тем не менее оценка качества не должна прекращаться и после передачи приложения на производственную стадию. В условиях реального применения мобильного приложения о его поведении можно собрать очень важные данные, которые могут быть использованы разработчиками для дальнейшего совершенствования этого приложения.
Не стоит надеяться на то, что каждый потенциальный дефект мобильного приложения удастся выявить и устранить до передачи этого приложения на производственную стадию. Даже после передачи в магазин мобильных приложений и установки на устройствах конечных пользователей лучшие мобильные приложения продолжают регистрировать контекстную информацию по каждому произошедшему аварийному отказу и отправлять эту информацию в группу разработчиков приложений.
Помимо немедленного получения сведений об аварийных отказах весьма полезно запрашивать от конечных пользователи мобильного приложения их отклики относительно приложения. Большинство популярных мобильных приложений имеет тот или иной механизм обратной связи, который позволяет пользователям, не желающим тратить свое время и свой труд на написание отзывов в магазине мобильных приложений, отправить группе разработчиков хотя бы короткое сообщение о своем отношении к приложению. Кроме того, весьма важно зарегистрировать контекст такой обратной связи в момент ее представления, чтобы разработчики могли знать, не повлияли какие-либо особые условия на впечатления пользователя, выраженные им в отклике.
Анализ восприятия пользователей
Комментарии к обзорам в магазине мобильных приложений также являются богатым источником сведений для оценки качества. Если некое мобильное приложения получило лишь несколько десятков отзывов в магазине мобильных приложений, то разработчикам достаточно легко прочитать все эти отзывы, чтобы оценить восприятие пользователей. Однако при возрастании количества отзывов разработчикам требуется аналитический инструмент для рационального и эффективного извлечения полезной информации из этого массива данных.
Сервис IBM Mobile Quality Assurance поддерживает функцию анализа отзывов в магазине мобильных приложений, которая регистрирует каждый текст отзыва и ищет в нем специальные ключевые слова, выражающие восприятие пользователя. Отзывы анализируются по десяти различным атрибутам мобильного приложения, таким как удобство пользования, стабильность, производительность, элегантность и т. д.
По каждому из этих атрибутов мобильного приложения разработчик может детализировать восприятие пользователей, чтобы увидеть, каким именно образом была получена оценка для этого атрибута. Разработчик может даже увидеть список конкретных отзывов, содержащих комментарии по этому атрибуту.
Сведения о восприятии пользователей, полученные из магазина мобильных приложений, являются бесценными, особенно при их сопоставлении с объективными техническими данными из отчетов по аварийным отказам и с откликами пользователей, зарегистрированными изнутри приложения.
Непрерывный выпуск мобильных приложений и оценка их качества
"Наилучшая стратегия тестирования мобильного приложения - поддержание надлежащего баланса между автоматизированными тестами и интерактивным тестированием с участием человека."
Идеальный цикл обеспечения качества начинается с выполнения набора автоматических тестов, применяемых к результатам непрерывного процесса интеграционной сборки мобильного приложения. После того как этот начальный набор автоматических тестов подтвердит, что последняя сборка соответствует минимально допустимым критериям качества, эта сборка может быть передана группе тестировщиков и внутренних оценщиков для проведения интерактивного тестирования.
После того как мобильное приложение успешно проходит автоматические и интерактивные тесты, оно становится кандидатом на выпуск для передачи на производственную стадию и для дистрибуции реальным конечным пользователям (предположительно через общедоступный магазин мобильных приложений или через внутрикорпоративный магазин мобильных приложений частного). Даже после выпуска мобильного приложения и передачи его на производственную стадию разработчик может по-прежнему получать данные по оценке качества этого приложения.
Заключение
Сервис IBM Mobile Quality Assurance призван играть важную роль на всех трех стадиях обеспечения качества мобильного приложения - он повышает эффективность интерактивного тестирования до максимально возможного уровня, а также регистрирует критически важные технические данные к аварийным отказам и к отчетам тестировщиков по ошибкам. Кроме того, IBM Mobile Quality Assurance позволяет анализировать отзывы о приложении, поступающие в магазин мобильных приложений, чтобы лучше понять восприятие мобильного приложения конечными пользователями.
Такая комплексная стратегия обеспечения качества мобильного приложения позволяет разработчикам быстрее устранять причины аварийных отказов и ошибок приложения, а также лучше понимать условия, в которых созданное ими приложение работает в реальном мире. Ваше приложение очень быстро получит желанный пятизвездный рейтинг!