Как мы тестим новые фичи и ищем баги

Разработка программного обеспечения требует внесения большого количества разноплановых изменений , которые с одной стороны добавляют новый функционал и улучшают возможности приложения, с другой стороны изменения могут неявным образом повлиять на общую работоспособность программы в худшую сторону. Чтобы последнего не произошло, изменения должны пройти через отдел тестирования. И в этой статье мы расскажем о том, как работает отдел тестирования в Jivo.

Постановка задачи

Изначально задача на добавление новых возможностей ставится Продакт Менеджером, который проводит исследование и находит потребности в улучшениях, которые будут положительно восприняты большинством пользователей Jivo. Для этого он составляет подробное техническое задание (ТЗ), в котором описывает логику работы нового улучшения и общие ожидания от этого улучшения. После чего отдел разработки приступает к написанию кода и подтягиванию всех зависимостей (дизайн, тексты, переводы). Как задача готова, по мнению разработчика, она переходит в отдел тестирования.

Пример постановки задачи от Продакт Менеджера:

Что должен проверить отдел тестирования

Тестирование нового крупного функционала предполагает большой комплекс различных проверок, где шаг за шагом мы подтверждаем качество новых улучшений. При этом мы убеждаемся, что новые улучшения не имеют какого-либо негативного влияния.

• Соответствие требованиям ТЗ. Отдел тестирования проверяет, что новые улучшения сделаны в соответствие с теми требованиями, которые описал продакт менеджер. Так как есть вероятность, что менеджер и разработчик смотрят на одну и ту же ситуацию под разным углом.

• Соответствие бизнес-логике. Отдел тестирования проверяет, что новые улучшения выполняют функцию, ради которой они были сделаны.

• Соответствие удобству. Улучшения должны быть удобными для пользователей Jivo. Они не должны создавать трудностей при работе с программой. Они не должны создавать ощущение, что программа работает не так, как кажется на первый взгляд. Фактически проверяется логичность и простота программы.

• Проверка здравым смыслом. Иногда улучшения выглядят хорошо на бумаге, но при реализации они теряют всю свою внешнюю привлекательность. И если становится очевидно, что это не будет работать правильно, отдел тестирования должен сообщить об этом продакт менеджеру.

• Проверка безопасности Мы проверяем, что улучшения не подвергают опасности пользовательские данные, а также не нарушаются пункты пользовательского соглашения. Это одна из самых тщательных проверок с нашей стороны.

Проверка на ухудшение системы

Когда первичная проверка улучшений завершена, мы приступаем к выявлению неявных ухудшений системы. Для этого существует всего один способ – проверить целиком всю систему, что все работает правильно.

Чтобы ускорить данный процесс применяется автоматическое тестирование, когда машина проходит определенные сценарии и сверяет фактический результат с ожидаемым. Если где-то происходит отклонение, то мы воспроизводим данный сценарий самостоятельно, и подтверждаем, либо опровергаем ошибку. После чего информация передается разработчикам на исправление. Каждое исправление от разработчиков также проверяется.

Проверка технической поддержкой Jivo

После того, как изменения готовы, мы выпускаем их на наш собственный сайт. Это позволяет проверить работу программы в реальной ситуации, собрать обратную связь, и при необходимости внести какие-то изменения.

Например, может случиться такая ситуация, что под нагрузкой программа перестанет справляться с объемом входящих данных, что приведет к деградации производительности. Либо какие-то элементы дизайна окажутся неудачными при большом количестве каналов, операторов, посетителей.

Реальная проверка на сотрудниках Jivo – отличный способ устранить такие ошибки.

Проверка на бета-тестерах

Определенная часть пользователей Jivo добровольно соглашается получать обновления, даже если они могут содержать какие-то ошибки. Такие пользователи в равной мере распределены по странам, что позволяет нам проверить корректность переводов, а также доступность второстепенных сервисов (переводчик, телефония, платежи и так далее).

Если в ходе использования программы, такие пользователи не нашли каких-либо неточностей, мы даем зеленый цвет обновлению, и оно появляется у всех пользователей Jivo.

Во время обновления у всех пользователей, команда сопровождения следит за статистическими данными. Если появляются какие-то отклонения от нормы, мы оперативно устраняем неточности.

Таким образом схема выпуска обновления выглядит так:

Сроки проверки программы

В среднем проверка улучшения, от передачи в тестирование до появления его у всех пользователей, длится 3-5 недель. Это достаточно длительный срок, но он позволяет нам убедиться, что пользователи получат обновление, которое улучшит качество их работы без каких-либо негативных последствий.

В компании Jivo мы тщательно следим за качеством наших обновлений, мы собираем обратную связь от наших пользователей и следим за тем, чтобы опыт от использования нашего сервиса оставался исключительно позитивным.