Поделиться
Создан первый в мире процессор с 900 тыс. ядер. Intel и AMD до такого далеко. Видео
Небольшой стартап разработал процессор с 900 тыс. вычислительных ядер. Внутри него находятся триллионы транзисторов, а сам он разрабатывался для нужд искусственного интеллекта. Это уникальный процессор – ни у одного другого в мире нет такого количества ядер.
Почти миллион ядер
Американский стартап Cerebras анонсировал новейший процессор Wafer Scale Engine 3 (WSE-3), который эксперты портала Tom’s Hardware назвали прорывным (breakthrough). Разработанный специально для вычислений в сфере искусственного интеллекта, он может похвастаться поистине колоссальными показателями по меркам 2024 г. – 900 тыс. ядер, 4 трлн транзисторов и 125 петафлопс (PFLOPS) производительности в вычислениях, связанных с ИИ.
WSE-3 – это не прототип, а готовое к производству решение, адаптированное под один из самых современных техпроцессов в мире, 5 нанометров. Выпуском чипа займется тайваньская компания TSMC – одна из немногих на планете, освоивших 5-нанометровые нормы. Cerebras уже имеет опыт сотрудничества с TSMC – возможно, именно по этой причине она выбрала именно ее в качестве производителя WSE-3 и не стала обращаться, к примеру, к Samsung.
Отметим, что Cerebras – совсем новая компания по меркам мировой ИТ-сферы. Она основана в 2016 г., и за восемь лет она создала три процессора для ИИ и три компактных суперкомпьютера высотой всего 15U.
Когда больше – это действительно хорошо
По данным Tom’s Hardware, основное предназначение WSE-3 – работа в составе оборудования для улучшения навыков искусственного интеллекта. Он будет задействован для тренировки ряда крупнейших в мире ИИ-моделей.
Конкурентов в плане количества ядер и, вероятно, производительности, у WSE-3 пока нет. Intel и не фокусируется на решениях для искусственного интеллекта, и ее самые топовые процессоры содержат в лучшем случае несколько десятков ядер. У AMD есть собственные ускорители ИИ, но ее на этом рынке, как и на рынке дискретных видеокарт, опережает Nvidia.
Эта компания готова предложить, в частности, ускоритель H100, тоже 5-нанометровый, но ядер у него в 52 раза меньше, чем у WSE-3 – почти 16,9 тыс. основных и 528 тензорных. Площадь кристалла Cerebras WSE-3 составляет 46,225 тыс. кв. мм, против 826 кв. мм у H100, то есть разница в этом плане примерно 57-кратная.
Если продолжать сравнивать эти процессоры, то у новинки Cerebras в 7000 раз выше пропускная способность памяти (21 ПБ, петабайт, в секунду). Встроенной SRAM памяти у WSE-3 почти в 900 раз больше, чем у H100.
WSE-3 также имеет высокие показатели производительности, подкрепленные пропускной способностью памяти 21 петабайт в секунду (в 7000 раз больше, чем у H100) и пропускной способностью Fabric 214 петабит в секунду (в 3715 раз больше, чем у H100). Чип включает 44 ГБ встроенной памяти, что в 880 раз больше, чем у H100.
Наконец, пиковая производительность Nvidia H100 составляет 4 PFLOPS в задачах искусственного интеллекта. Это примерно в 32 раза меньше показателей WSE-3.
Возможности процессора
Новинка имеет 44 ГБ встроенной памяти SRAM и умеет работать с внешней памятью объемом 1,5 ТБ, 12 ТБ или 1,2 ПБ, что позволяет хранить массивные модели в едином логическом пространстве без разделения или рефакторинга, а это, в свою очередь, оптимизирует процесс обучения ИИ. Один такой процессор способен обучать ИИ-модели по 24 трлн параметров.
Отдельно компания Cerebras делает акцент на масштабируемости систем на базе ее нового процессора. WSE-3 служит основой для ее суперкомпьютера CS-3, который можно сконфигурировать в кластерах до 2048 систем. Такая масштабируемость позволяет с высокой точностью настраивать модели с 70 млрд параметров всего за один день, пишет Tom’s Hardware.
Программное обеспечение, поставляемое Cerebras, дает возможность пользователям CS-3 создавать собственные модели машинного обучения с применением популярных фреймворков, например, PyTorch и TensorFlow.
Когда опыт есть
Цифра 3 в названии нового процессора Cerebras появилась не случайно, поскольку это уже не первый процессор этой компании. Как сообщал CNews, в апреле 2021 г. свет увидел предшественник WSE-3 под названием WSE-2, который в свое время тоже бил все рекорды по количеству ядер.
Двухлетний WSE-2 содержит 850 тыс. вычислительных ядер и 40 ГБ встроенной памяти. Он имеет такую же площадь чипа, как и у WSE-3, но внутри него находятся 2,6 трлн транзисторов. Техпроцесс этого процессора – 7 нм, производитель – TSMC. В сравнении с 16-нанометровым WSE первого поколения количество ядер и транзисторов в WSE-2 удвоилось
На основе WSE-2 компания Cerebras собрала крошечный суперкомпьютер CS-2 размером 15U, который располагал всеми необходимыми сетевыми компонентами и включал в себя автономную систему водяного охлаждения. Один такой суперкомпьютер потреблял 17 кВт энергии против 19 кВт у CS-1 на базе первого поколения WSE. В декабре 2022 г. Cerebras представила полноразмерный суперкомпьютер Andromeda на базе CS-2 с суммарными 13,5 млн ядер, умеющий переводить естественный язык и писать программный код.
По данным Tom’s Hardware, суперкомпьютер CS-3 удвоил свою производительность по сравнению с CS-2, но при этом сохранил потребление энергии на уровне тех же 17 кВт, что и у его предшественника. Не исключено, что следствие, в том числе, перехода с 7 на 5 нанометров.
Как пишет портал WCCFTech, миниатюрные суперкомпьютеры CS-3 в количестве 64 экземпляров лягут в основу гигантского суперкомпьютера Condor Galaxy 3. Его производительность в вычислениях искусственного интеллекта будет достигать 8 экзафлопс.
Стоимость WSE-3 и суперкомпьютера CS-3 компания Cerebras не раскрывает. Nvidia просит за свой ускоритель H100 в пределах $30 тыс.
Короткая ссылка
