Статья

Мониторинг изменений на сайтах: больше не вручную

Софт
мобильная версия

Во многих видах деятельности сегодня зачастую возникают ситуации, когда важно отслеживать и анализировать изменения информации, размещенной на интернет-сайтах. Такие задачи могут появляться в сферах закупок, инвестирования, кредитования, актуарных расчетов, системного администрирования, журналистики и многих других. Собирать информацию вручную — крайне расточительно, гораздо лучше для этого подходит специализированное ПО, такое как Websvodka.

В любой работе иногда бывают ситуации, когда надо отследить появление новой информации, сравнить и проанализировать версии чего-либо. Подобные нужды возникают у ИТ-специалистов, бухгалтеров, аудиторов, юристов, журналистов — и это далеко не полный список профессий. Конечно, можно выполнять эту работу вручную или автоматизировать процесс лишь частично, однако в современных условиях это равносильно пустой трате времени и сил.

Тотальный мониторинг

Чтобы избежать подобных ситуаций, уже давно разрабатываются и успешно используются самые различные программы для мониторинга и анализа данных. Многие компании создают такие утилиты под свои узкие задачи, существует некоторое количество свободных программ, написанных энтузиастами (к примеру, xStarter, Directory Monitor, SysTracer и пр.), ПО для контроля ИТ-архитектуры разрабатывается также известными вендорами, например, Netwrix. Однако все эти программы имеют один значимый минус: они анализируют лишь один источник данных.

Исключением из общего правила стал продукт компании embc — Websvodka. Изначально созданное для отслеживания потребностей потенциальных клиентов компании – негосударственных пенсионных фондов, решение постепенно «научилось» работать со страницами сайтов, с поисковыми системами, с размерами файлов и пр.

Как начиналась Websvodka

Проект начали планировать в 2011 г. Как уже упоминалось, изначально стояла задача оптимизировать трудозатраты на отслеживание тендеров, конкурсов, нормативных актов и просто новостей в сфере негосударственного пенсионного обеспечения. Поскольку все изменения сейчас анонсируются в интернете, то специалисты компании чуть ли не вручную мониторили информационные сайты и сайты пенсионных фондов. Но не всегда на это было время и много важного упускалось, что, конечно, отражалось на общем результате.

В результате было решено перейти на новый формат отслеживания с применением информационных технологий. «Именно для этого мы и начали разрабатывать продукт Websvodka, — рассказывает Дмитрий Кавыршин, руководитель проекта Websvodka. — В 2013 году мы начали использование продукта у себя внутри компании, отладив работу по нашему направлению. Это позволило нам значительно оптимизировать трудозатраты и при этом серьезно повысить качество по данному направлению — это было здорово!»

Пожалуй, наибольшие проблемы разработчику доставила реализация масштабирования работы сервиса. Поскольку изначально планировалось, что Websvodka будет работать с относительно небольшим числом ресурсов, то, когда было принято решение о ее выводе на рынок, пришлось менять архитектуру базы данных и серверное оборудование. Сейчас продукт автономен и все сервисы полностью резервированы. По словам г-на Кавыршина, без особых изменений программного кода сегодня можно масштабировать продукт не менее чем до 1 млн. отслеживаемых страниц, увеличивая лишь серверные мощности. «Конечно, были еще сложности с работой некоторых сайтов, поскольку не все написаны в единых стандартах программирования. Эти проблемы встречаются и сейчас. В каждом случае разбираемся отдельно, если есть такой запрос от пользователей», — продолжил спикер.

Что может Websvodka?

Может решение весьма многое. К примеру, оно отслеживает все изменения контента на конкретных страницах сайтов; появление или удаление на них словосочетаний, изменение структуры сайта, изменение его позиции в поисковой системе «Яндекс», а также изменения размеров файлов и даты этих событий.

В компании существуют четыре режима работы с пользователями решения Websvodka.

Во-первых, конечно, демоверсия, которая позволяет ознакомиться с возможностями сервиса. В ней доступен полный функционал продукта, однако внесенные изменения (объекты, поставленные на контроль) не будут сохранены после окончания сессии.
Пользователь получает мониторинг 50 страниц, 20 сайтов, 5 поисковых запросов и 50 файлов.

Второй вариант работы — это бесплатный режим, который позволяет одновременно отслеживать до трех объектов каждого типа (страницы, сайты, поисковые запросы, файлы) с частотой автоматической проверки раз в сутки или реже. Клиент может мониторить 3 страницы, 3 сайта; 3 поисковых запроса и 3 файла.

Режим расширенных возможностей позволяет отслеживать наибольшее количество объектов с частотой проверки до одного раза в час — за исключением поисковых запросов. По поисковым запросам максимальная частота автоматической проверки — 1 раз в сутки.

Стоимость такого варианта использования решения — 240 руб. за три месяца. Пользователь получает мониторинг 50 страниц, 5 сайтов, 5 поисковых запросов, 15 файлов.

Наконец, компания работает по индивидуальным запросам пользователей, которым необходимо отслеживать большие объемы информации и которым для анализа требуются дополнительные отчеты. «Тут мы учитываем запросы и пожелания конкретного пользователя», — резюмировал Дмитрий Кавыршин.

Весь рынок

Основная возможность применения решения — это предоставление пользователю инструмента для автоматического мониторинга изменений интернет-контента. При этом всю работу делает программа, а пользователь получает уведомления об изменениях на почту.

«Целевая аудитория нашего продукта — по сути, весь сегодняшний рынок, — рассказывает г-н Кавыршин. — Ведь интернет с начала 2000-х гг. очень сильно трансформировался, и сегодня любую, даже небольшую, компанию трудно представить без сайта, где описаны услуги или вид деятельности.»

Задача проекта — помочь компаниям оптимизировать свои трудозатраты и повысить качество работы, к примеру, по обновлению продуктовой линейки. Ведь при проработке тех или иных продуктов маркетологу важно учитывать мнение клиентов. С помощью сервиса Websvodka пользователь может мониторить множество интернет-ресурсов на предмет появления важной информации и быть всегда в курсе изменений без особых трудозатрат.

Это могут быть и примеры работы с сервисом, которые приводит компания-разработчик: отслеживание изменений продуктов на сайтах конкурентов, изменений в разделах вакансий на сайтах потенциальных работодателей и заказчиков. Новостные порталы также могут пользоваться Websvodka, ведь им важно понимать, кто из конкурентов опубликовал новость первым. Можно отслеживать новостные ленты конкурентов по регионам, тогда пользователю не придется каждый раз тратить время на просмотр сайта конкурента — сервис автоматически известит пользователя о появлении новой информации.

Готовым кейсом использования решения поделился и г-н Кавыршин: «Мы готовим еженедельно обзорные статьи по страховым компаниям с информацией по изменениям в новостной ленте, продуктовой ленте. Мы охватываем все страховые компании, интересующие Заказчика, и предоставляем ему на основании нашего сервиса полный обзор новых продуктов и изменений в новостной ленте у конкурентов».

Ориентация на пользователя

Если говорить о планах по развитию решения, то по большей части они опираются на потребности пользователей. При этом продукт оптимизируется, сервис становится стабильнее, функциональность — шире. В планах реализовать проектное отображение контролируемых объектов, чтобы пользователь имел возможность разбивать их по конкретной тематике.

Также готовится англоязычная версия продукта.