Российский суперкомпьютер поставил мировой рекорд вычислительной плотности

Интеграция Внедрения Инфраструктура Электроника
мобильная версия
, Текст: Владимир Бахур
Новое поколение суперкомпьютерной архитектуры «РСК Торнадо», представленное российской группой компаний РСК на международной выставке SC16 в Солт-Лейк-Сити, установило новый мировой рекорд вычислительной плотности.

Новый мировой рекорд вычислительной плотности

Как стало известно CNews, представленное группой компаний РСК в рамках международной выставки-конференции Supercomputing Conference (SC16, Солт-Лейк-Сити, США) новое поколение высокоплотного масштабируемого суперкомпьютерного решения «РСК Торнадо» с прямым жидкостным охлаждением на базе 72-ядерного процессора Intel Xeon Phi 7290, установило новый мировой рекорд вычислительной плотности для архитектуры x86.

Новый мировой рекорд зафиксировал достижение производительности в 1,41 Пфлопс (петафлопс, 10 в 15 степени операций с плавающей запятой в секунду) на шкаф. Новая планка вычислительной плотности для архитектуры x86 побила предыдущее рекордное достижение на 17%, которое с 2013 г. удерживалось на отметке 1,2 Пфлопс на шкаф и было установлено другой суперкомпьютерной архитектурой РСК – RSC PetaStream.

Архитектура «РСК Торнадо» на базе многоядерных процессоров семейства Intel Xeon Phi 7200 обеспечивает возможность стабильной работы вычислительных узлов в режиме «горячая вода» при температуре хладоносителя +63° С на входе в вычислительные узлы. Новая архитектура, по данным РСК, обладает улучшенными показателями компактности и вычислительной плотности, а также высоким уровнем энергоэффективности.

Стенд РСК на выставке Supercomputing Conference 16

«Стабильные инвестиции в исследования и разработку позволили РСК сохранить лидерские позиции и ставить индустриальные рекорды в мировом масштабе. Кризисы приходят и уходят, но если вы не будете инвестировать в собственное будущее, ваше место обязательно займет кто-то другой», – сказал Алексей Шмелев, исполнительный директор группы компаний РСК.

Особенности архитектуры «РСК Торнадо»

Новое поколение кластерного решения «РСК Торнадо» выполнено на многоядерных процессорах семейства Intel Xeon Phi 7200, в том числе, на старших моделях серии Xeon Phi 7290, содержащих до 72 вычислительных ядер на одном кристалле. Новая архитектура также рассчитана на использование новых процессоров Intel Xeon Phi 7250F и Xeon Phi 7290F (версия с суффиксом F означает наличие интегрированного скоростного межузлового соединения Intel Omni-Path).

Кластерная архитектура «РСК Торнадо» выполнена с использованием серверных плат Intel Server Board S7200AP и рассчитана на высокую физическую плотность размещения: до 408 вычислительных узлов в двухстороннем шкафу 42U габаритами 120х120х200 см.

Рекордная вычислительная плотность – 1,41 Пфлопс (ранее 528 Тфлопс для данного решения) в двухстороннем вычислительном шкафу 42U эквивалентна удельной вычислительной плотности более 490 Тфлопс на куб. м. Энергетическая плотность нового решения составляет порядка 200 кВт/шкаф, за счет чего удалось снизить энергопотребление системы и повысить энергоэффективность почти в 3 раза.

Новое поколение архитектуры «РСК Торнадо» позволило увеличить объем используемой оперативной памяти вычислительных узлов одного шкафа почти в 5 раз: с 16,3 ТБ в предыдущем поколении до 76,5 ТБ (до 192 ГБ оперативной памяти типа DDR4-2400 RAM и 16 ГБ MCDRAM на узел). Узлы «РСК Торнадо» поддерживают одновременное использование до двух твердотельных накопителей с подключением по шине SATA и одного PCIe в форм-факторе M.2, таких как Intel SSD DC S3500 и Intel SSD DC P3100 (M.2 NVMe).

Благодаря обеспечению необходимых условий для стабильной работы вычислительных узлов в режиме «горячая вода» при температуре +63 °С на входе в вычислительные узлы, удалось реализовать работу системы в режиме «фрикулинга» в режиме 24/7/365, что позволяет обеспечить PUE системы менее 1,05.

Экспозиция РСК на выставке SC16

Новое поколение архитектуры поставляется с новым модулем электропитания в форм-факторе вычислительного узла, обеспечивающим высокоэффективное преобразование 220 В переменного тока в 400 В постоянного тока (эффективность конверсии питания составляет 96%) с возможностью параллельной работы на общую шину с резервированием от N+1 до N+N. Обновленная конструкция вычислительного шкафа обеспечивает поддержку новых технологий высокоскоростных межузловых соединений, включая Intel Omni-Path и Mellanox EDR InfiniBand. Система также обеспечивает возможность построения гибких конфигураций систем охлаждения с возможностью резервирования, как отдельных узлов гидрорегулирования, так и всей системы в целом. Любой узел «РСК Торнадо» может обслуживаться индивидуально и не требует остановки какого-либо другого узла. 

Кластерное решение «РСК Торнадо» может быть реализовано на базе серверных процессоров семейства Intel Xeon E5-2600, включая представленную на SC16 старшую модель Intel Xeon E5-2699A v4 (22 ядра, тактовая частота 2,40 ГГц, 55 МБ кэш-памяти L3), обеспечивая вычислительную плотность до 258,5 Тфлопс в стандартном вычислительном шкафу 42U.  

«РСК Торнадо» управляется системой мониторинга собственной разработки РСК, позволяя осуществлять управление как отдельными узлами, так и всем решением в целом, включая инфраструктурные компоненты. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют встроенный модуль управления, что обеспечивает широкие возможности для детальной телеметрии и гибкого управления. 

«Передовые технологические подходы, реализованные в новом поколении суперкомпьютерного решения «РСК Торнадо», позволили уменьшить стоимость инфраструктуры в рамках реализации проектов создания вычислительных комплексов и обеспечить возможности для более гибкой модернизации, как на уровне отдельного узла, так и всей системы в целом», отметил Алексей Шмелев. 

Экспозиция РСК на выставке SC16

На стенде РСК был продемонстрирован вычислительный узел «РСК Торнадо» на базе многоядерного процессора Intel Xeon Phi 7290 и серверной платы Intel S7200AP с двумя твердотельными дисками Intel SSD DC S3500 Series M.2 емкостью 340 ГБ и одним Intel SSD DC P3100 (M.2 NVMe) с интерфейсом PCIe, а также коммутаторы и адаптеры для построения высокоскоростных межузловых соединений Intel Omni-Path (OPA) и Mellanox EDR InfiniBand. 

Экспозиция РСК на выставке SC16
Экспозиция РСК на выставке SC16

РСК второй год подряд является технологическим спонсором немецкой студенческой команды Технического университета Мюнхена (TUM), участвующей в соревновании Student Cluster Competition (SCC) в рамках международной суперкомпьютерной выставки SC16. 

В ходе SCC студенческие команды должны продемонстрировать жюри свои познания и практические навыки в области суперкомпьютерных архитектур и повышения производительности программно-аппаратных комплексов путем оптимизации запуска различных научных приложений и тестов на вычислительном кластере, энергопотребление которого не должно превышать лимит в 3120 Вт. 

Стенд студенческой команды Технического университета Мюнхена на выставке SC16

Российская компания предоставила в распоряжение молодежного коллектива TUM 8-узловой кластер, реализованный в мобильном исполнении на базе архитектуры «РСК Торнадо» с прямым жидкостным охлаждением. В составе конфигурации этой вычислительной системы: 72-ядерные процессоры Intel Xeon Phi 7290, серверные платы Intel S7200AP, твердотельные диски Intel SSD DC S3500 Series M.2 емкостью 340 ГБ, коммутатор и адаптеры на основе высокоскоростного межузлового соединения Intel Omni-Path, а также модули памяти Micron DDR4-2400 VLP емкостью 16-32 ГБ.   

РСК также продемонстрировала решение на базе протокола NVMe-overFabric, которое позволяет организовать высокоскоростной удаленный доступ к дисковому массиву. Его отличительной особенностью является использование средств RDMA высокоскоростного межузлового соединения Intel Omni-Path для минимизации задержки доступа к блочному устройству. На стенде РСК был представлен мини-кластер, в котором вычислительные узлы получают дисковое пространство по требованию от централизованного сервера с NVMe-дисками Intel SSD DC P3700. Такой подход позволяет проектировать кластерные решения высокой плотности, в которых вычислительные узлы имеют ограниченное дисковое пространство с возможностью его расширения через NVMe-over-OPA в реальном времени. 

Суперкомпьютерные решения РСК на российском рынке

Группа компаний РСК разрабатывает решения «полного цикла» для сегмента высокопроизводительных вычислений (HPC) и центров обработки данных (ЦОД) на основе архитектур Intel и жидкостного охлаждения. Специалисты РСК имеют опыт разработки и внедрения интегрированного программного стека решений для повышения эффективности работы и прикладного использования суперкомпьютерных комплексов: от системного ПО до вертикальноориентированных платформ на базе технологии облачных вычислений. 

РСК является партнером Intel в программах Intel Technology Provider Program высшего уровня Platinum и Intel Fabric Builders Program, обладает элитным статусом Intel HPC Data Center Specialist. 

Решения на базе архитектур «РСК Торнадо» и RSC PetaStream с жидкостным охлаждением находятся в промышленной эксплуатации у российских заказчиков с 2009 и 2013 гг., соответственно. Такие системы установлены и используются для моделирования и расчетов научно-исследовательских и промышленных задач в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ), Межведомственном суперкомпьютерном центре Российской Академии Наук (МСЦ РАН), ЮжноУральском государственном университете (ЮУрГУ), Московском физикотехническом университете (МФТИ), Росгидромете и у других заказчиков из различных отраслей промышленности.