Поделиться
Ученые Пермского Политеха создали метод, который ускоряет работу сайтов и видео, не перегружая серверы
Ученые Пермского Политеха разработали новый метод распределения задач, который учитывает не только прогноз времени выполнения, но и его достоверность. Это сокращает время отклика на 8–10%, а также улучшает равномерность загрузки серверов на 60–70% без использования дорогостоящего оборудования. Об этом CNews сообщили представители ПНИПУ.
Поисковые системы, онлайн-кинотеатры, магазины и любые другие интернет-сервисы ежедневно обрабатывают миллионы пользовательских запросов: открыть сайт, прогнать сложный расчет, загрузить видео. За всем этим стоит специальное программное обеспечение – планировщик (или диспетчер задач). Именно он в реальном времени решает, на какую из тысяч вычислительных машин отправить запрос, чтобы пользователь получил ответ быстрее, и ни один сервер не перегрелся от перегрузки.
Проблема в том, что существующие методы распределения задач работают вслепую – они не видят полной картины и не могут точно предсказать последствия. Одни алгоритмы смотрят только на то, что происходит прямо сейчас: у какого устройства очередь короче – туда и отдаем задачу. Но этот сервер может оказаться старым и медленным, и пользователь будет ждать ответа в разы дольше обычного – секунды превратятся в десятки секунд, а в пиковые часы – в минуты. Другие методы пытаются заглянуть в будущее (прогнозируют, сколько займет задача), но их расчеты часто ошибаются: запрос попадает на перегруженный или неподходящий компьютер, и система начинает тормозить. Третьи используют искусственный интеллект, но они слишком затратны: им нужны суперкомпьютеры (это десятки тысяч процессоров, объединенных в одну сверхмощную машину), горы данных и постоянное обучение, что на практике слишком дорого и медленно.
В итоге одни серверы простаивают, другие перегреваются от напряженной работы, а пользователи просто ждут, когда «загрузится страничка» или перестанет крутиться значок ожидания видео.
Для решения этой проблемы ученые Пермского Политеха разработали метод, который позволяет распределять задачи между компьютерами с учетом не только прогноза, но и его достоверности. По сравнению с существующими аналогами новый метод сокращает время выполнения задач и улучшает показатели равномерности загрузки вычислительных узлов.
По сути, это умный диспетчер, который принимает решения на основе трех факторов. Во-первых, он оценивает, сколько времени займет задача на каждом компьютере. Во-вторых, смотрит, как сильно он загружен прямо сейчас. И в-третьих, проверяет, насколько точными были прогнозы по этой вычислительной машине в прошлом.
«Наш метод увязывает достоверность прогноза и статистику работы каждого устройства вычислительной системы. Если фактические показатели обработки задач хуже прогнозируемых, планировщик снижает приоритет и отправляет задачу более надежному исполнителю. Такое устройство получает меньше задач до тех пор, пока прогнозы снова не станут точными. В приоритете — те компьютеры, фактические показатели работы которых в большей степени соответствуют прогнозам. Это позволяет выполнить балансировку нагрузки для более эффективного использования ресурсов вычислительной системы», – сказал Егор Трушкин, аспирант кафедры «Автоматика и телемеханика» ПНИПУ.
Для проверки эффективности нового метода ученые провели серию вычислительных экспериментов на программной модели и реальном стенде с использованием технологий виртуализации, моделируя разные сценарии работы – от идеальных условий до полного хаоса со случайными сбоями в статистике.
«В случаях, когда моделировалось нестабильное поведение вычислительного устройства, прогнозы существенно отличались от фактических значений. При этом существующие методы распределения ресурсов отправляют задачи на ненадежные серверы, которые «тормозили» и «создавали пробки». А наш метод, который учитывает еще и достоверность прогноза, обеспечил высокие показатели эффективности вычислительной системы: время выполнения задач сократилось на 8–10%, а равномерность нагрузки между серверами улучшилась на 60–70%», – сказал Владимир Фрейман, профессор кафедры «Автоматика и телемеханика» ПНИПУ, доктор технических наук.
Например, интернет-магазин в «черную пятницу» посещают 10 млн человек. При старом методе сайт справляется, например, с 8 млн, а 2 млн пользователей ждут или уходят. Новый подход позволяет обработать на 10% больше, то есть 9 миллионов. Это тысячи дополнительных заказов и доходов без покупки нового оборудования.
А выравнивание нагрузки на 60-70% – это как если раньше один продавец в магазине работал за троих и не справлялся, другой сидел без дела, а теперь очередь распределяется так, что все сотрудники загружены равномерно. В итоге никто не работает на износ, и покупателей обслуживают быстрее.
Разработка ученых не требует больших вычислительных мощностей – в отличие от методов на основе нейросетей, ей не нужны суперкомпьютеры, огромные массивы данных для обучения и постоянная перенастройка. Это позволяет внедрять метод в стандартные серверные системы без дополнительных аппаратных затрат.
Такой механизм можно встроить в любой интернет-сервис: поисковики, онлайн-кинотеатры, магазины, банковские приложения и облачные платформы. Внедрение этой технологии позволит компаниям обрабатывать больше запросов на том же оборудовании и экономить на электроэнергии и покупке новых компьютеров. А для обычных пользователей это означает быструю загрузку сайтов, плавное видео без зависаний и мгновенный отклик приложений – даже вечером в час пик, когда интернет перегружен.
Короткая ссылка
