Спецпроекты

Как автоматизировать тестирование ПО?

Интеграция Бизнес-приложения
Борьба с ошибками в ПО – нелегкий труд. Сотни и тысячи тестировщиков пытаются обнаружить дефекты в ПО до запуска в коммерческое использование, иначе стоимость ошибки возрастет в тысячу раз. Снизить затраты на обеспечение качества продукции можно с помощью применения автоматизированных систем поиска ошибок.

Например, при ручном тестировании оператор получает сообщение о том, что ему необходимо открыть определенное окно, выполнить некую последовательность действий, в результате чего он должен увидеть ожидаемый результат. В конце процедуры ему задается вопрос – увидел он этот результат или же нет, который фиксируется. Напротив, при автоматическом выполнении теста все шаги выполняются компьютером, эмулирующим действия пользователя.

Опыт "Вымпелкома"

Решения Mercury появились в “ВымпелКом” еще в 2002 году, когда в связи с бурным ростом числа абонентов руководство сотового оператора решило внедрить новую биллинговую систему от компании Amdocs. Как рассказывает руководитель службы тестирования “ВымпелКом” Михаил Мериин, именно после развертывания биллинга Amdocs стало очевидно, что обычные приемочные испытания программного обеспечения не выявляют все ошибки и необходимо тщательное тестирование любого нового пакета.

Между прочим:

  • Компания Hewlett-Packard пользовалась продуктами Mercury, ещё до приобретения этой фирмы для тестирования заплат в собственных промышленных Unix’ах.
  • Продукты Quality Center и LoadRunner (из Perfomance Center) использовались для тестирования самих себя!

Ситуация складывалась так, что из-за тесной взаимосвязи приложений даже небольшие изменения в каком-нибудь программном модуле способны повлиять на работу десятков приложений. Поэтому если в новую версию вкрадётся серьезная ошибка, то она может привести к сбоям и в других приложениях. Кроме того, даже в том случае, когда новое ПО не содержит ошибок, его развертывание может привести к конфликтам за ресурсы с другими приложениями и, как следствие, к недостаточной производительности. Кроме того, многие используемые в “ВымпелКом” системы являются критически-важными, т.е. даже кратковременные сбои в их работе могут привести к существенным финансовым убыткам.

После анализа представленных в то время на рынке инструментов для тестирования ПО специалисты “ВымпелКом” сделали ставку на решения Mercury. В первую очередь была внедрена система управления процессом тестирования Mercury TestDirector из пакета Mercury Quality Center (с 2007 года – HP Quality Center), которая поддерживает весь цикл тестирования – управление требованиями, составление планов тестирования, автоматизация выполнения тестов и работа с дефектами. Решающими доводами в пользу предложения Mercury стали более широкая, чем у конкурентов функциональность и высокое качество поддержки, предоставляемой этой компанией. По словам Мериина, TestDirector оказался настолько удобным, что в последствии его стали использовать для управления не только тестированием биллинга, но и другими проектами.

За прошедшие пять лет TestDirector превратился в стандартный рабочий инструмент в компании, – если раньше он использовался лишь в двух-трех проектах, то сегодня в нем ведется около сотни. Всего в “ВымпелКом” с этим инструментом работают порядка 1700 пользователей, из них одновременно – более ста. Причем это не только сотрудники отдела тестирования, но и аналитики, архитекторы и специалисты службы Help Desk.

Одной из особенностей TestDirector является возможность получения детальной картины процесса тестирования, на основе которой можно легко определить загруженность каждого отдельного сотрудника и более эффективно спланировать распределение рабочей силы при выполнении разных проектов. Стоит отметить, что использование этой системы стало обязательным требованием и для аутсорсеров услуг тестирования, которые работают с “ВымпелКомом”.

Как публичная компания, имеющая листинг на Нью-Йоркской фондовой бирже, “ВымпелКом” обязан ежегодно проходить сертификацию на соответствие требованиям закона Sarbanes-Oxley (SOX). Как известно, к этим компаниям предъявляются очень высокие требования с точки зрения гарантии финансовой безопасности, в том числе, гарантии безотказной работы всех информационных систем, участвующих в бизнес-процессах. И здесь TestDirector оказался нужным помощником. Он позволил быстро предоставить аудиторам детальные сведения обо всех проектах и доказать, что система проверки качества приложений организована на самом высоком уровне.

Всместе с TestDirector в “ВымпелКом” используются и другие инструменты Mercury. Так, уже несколько лет для тестирования производительности приложений применяет входящий в состав пакета Mercury (HP) Performance Center инструмент LoadRunner (новое название – HP Load Runner). LoadRunner позволяет до запуска приложения в эксплуатацию оценить, насколько хорошо оно будет работать в требуемом инфраструктурном окружении под высокими нагрузками. По словам Мериина, практически все новые приложения, будучи развернутыми в конкретных условиях, не способны выдержать требуемых нагрузок – всегда требуется проводить предварительную настройку различных компонентов, будь то web-сервер, сервер приложений или база данных.

Наконец, еще один продукт HP, который применяется, прежде всего, для тестирования ERP-системы “ВымпелКом”, - это WinRunner (в настоящее время включен в пакет НР Functional Testing). Он позволяет автоматизировать функциональное тестирование, помогая быстро проверить функциональность бизнес-процессов внутри ERP и выявить некорректное поведение системы после внесения в нее каких-либо изменений.

Василий Полевой


На правах рекламы