Разделы

Документооборот

Быстродействие СЭД: разбираем методику оценки

Современные системы управления документооборотом и бизнес-процессами должны отвечать критически важному требованию - иметь адекватное быстродействие. Тем не менее, на рынке нет до сих пор сколько-нибудь устоявшихся методик расчета этого показателя. В свете этого актуально рассмотреть пример составления такой методики и реальные оценки проведенного по ней тестирования.

Параллельно этому создается еще один выделенный стенд, на котором будут проводиться измерения метрик. Для выполнения измерений можно задействовать тот же набор средств и ту же методику, что и для тестирования производительности. В частности, имеет смысл измерять время выполнения базовых операций (в среде TestComplete), а также снимать метрики второго порядка – счетчики производительности по нагрузке аппаратного обеспечения.

Архитектура испытательного стенда для нагрузочного тестирования

Источник:DocsVision, 2010

На завершающей стадии формирования нагрузки необходимо заполнить базу данных, так как степень ее наполнения вносит свои коррективы в показатели времени отклика системы при интенсивной промышленной эксплуатации в условиях прогнозируемой нагрузки. Базовым показателем является наполненность на уровне 3-4 лет промышленной эксплуатации системы.

После выполнения всех этих условий можно приступать к непосредственным измерениям. Постепенно наращивая нагрузку (число одновременно выполняемых сценариев в Visual Studio), следует выполнять измерения типовых показателей в среде TestComplete. Прирост нагрузки между измерениями может быть как плавным (1,2,3,4 и т.д. пользователей) так и дискретным (1, 10, 500, 1000 пользователей).

Диаграммы деградации

Источник: DocsVision, 2010

Результаты нагрузочного тестирования представлены в виде диаграмм деградации, которые показывают падение быстродействия ключевых операций в зависимости от возрастающей нагрузки на сервер (количество пользователей, реализующих свои профили работы).

Данные нагрузочного тестирования подсистемы управления бизнес-процессами версий DocsVision 4.3 и 4.5.

Время обработки эталонного бизнес-процесса DocsVision 4.3 DocsVision 4.5
При 10 активных процессах, сек 180 32
При 100 активных процессах, сек 460 345
При 1000 активных процессах, сек 2760 960

Источник: DocsVision, 2010

CNews Analytics: Рейтинг операторов фискальных данных 2024
ритейл

Таким образом, в зависимости от специфики сценария деградация происходит различными темпами, при этом для 2000 пользователей большая часть сценариев исполняется быстрее 4 секунд, а до 500 одновременно работающих пользователей эти сценарии укладываются в целевые 3 секунды. Видны также сценарии, по которым необходимо продолжать работы по оптимизации кода.

Максим Галимов, директор по перспективным исследованиям компании Directum:

Для имитации нагрузки важно не только выбирать правильные профили пользователей, но и учитывать взаимное влияние пользователей друг на друга, реально выполняемые ими в течение дня операции. После этого потребуется смоделировать последовательности этих операций, сгруппировав их в тестовые сценарии. Важным этапом правильного тестирования является выход за пределы допустимой нагрузки, то есть получения не только подтверждения о работоспособности в таком режиме, но и выявления ситуаций, когда оборудование не справляется. Достигать этой нагрузки нужно обязательно, это позволит выявить узкие места в системе. В целом же проведение нагрузочного тестирования через имитацию – это единственный способ проверить СЭД на пиковых нагрузках, так как ее типичное использование не требует экстремального быстродействия.

Главным результатом проведенных исследований и разработок является появление комплексной модели тестирования быстродействия решения, включенной в основные производственные процессы компании – разработку и тестирование. В результате при выпуске каждой версии будут проводиться измерения производительности и нагрузочное тестирование и выполняться необходимая оптимизация кода. В конечном счете, это дает заказчикам гарантии того, что, становясь сложнее в функциональном отношении, оцениваемая таким образом система будет становиться быстрее в плане производительности.

Помимо всего прочего, проведенный анализ вторичных метрик быстродействия позволил выделить компоненты и модули, требующие первоочередной оптимизации и выработать стратегию развития системы с учетом важнейшего потребительского качества.