В Университете Ватерлоо в Канаде ввели в эксплуатацию суперкомпьютер Nibi — новую HPC-платформу, которую будут использовать для широкого круга задач, включая проекты в области искусственного интеллекта. Проект реализован при участии Nokia и Hypertec и поддержан несколькими канадскими организациями и госструктурами, которые финансируют цифровую исследовательскую инфраструктуру.

По сути Nibi — это большой «конструктор» из разных типов вычислительных узлов. В системе более 750 узлов, и основная масса — CPU-сегмент: около 700 вычислительных узлов с двумя процессорами Intel Xeon 6972P поколения Granite Rapids-AP и 748 Гбайт оперативной памяти на узел. Для задач, где важен объём ОЗУ, добавлены 10 узлов с теми же процессорами, но уже с 6 Тбайт памяти на каждый — такой класс машин обычно нужен для больших наборов данных и специфических научных расчётов.

Графический сегмент построен отдельно: 36 GPU-узлов включают по два Intel Xeon Platinum 8570 (Emerald Rapids), 2 Тбайт оперативной памяти и восемь ускорителей NVIDIA H100 SXM с 80 Гбайт памяти, связанных через NVLink. Дополнительно упомянуты шесть узлов с четырьмя ускорителями AMD Instinct MI300A — это заметный штрих, потому что смешанные конфигурации становятся всё более привычными: разные ускорители лучше раскрываются в разных типах нагрузок.

Подсистема хранения основана на решениях VAST Data и использует SSD общей ёмкостью 25 Пбайт. Для обмена данными между CPU- и GPU-узлами заявлена пропускная способность 200 Гбит/с, а подключение к хранилищу обеспечивается через 24 линии по 100 Гбит/с. Пиковая производительность комплекса оценивается в 15 пфлопс.

Отдельный акцент сделан на охлаждении: Nibi использует погружную жидкостную систему, а выделяемое тепло направляют на обогрев здания центра квантовых и нанотехнологий имени Майка и Офелии Лазаридис. Для современных HPC и особенно ИИ-нагрузок это уже почти обязательная история: теплопакет растёт, и эффективность охлаждения становится не менее важной, чем количество ускорителей.