• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Суперкомпьютер "cHARISMa" НИУ ВШЭ

В НИУ ВШЭ работает высокопроизводительный вычислительный кластер "cHARISMa" (Computer of HSE for Artificial Intelligence and Supercomputer Modelling), входящий в рейтинг ТОП-50 суперкомпьютеров (6 место в редакции №31 списка ТОП-50 от 23.09.2019).

Суперкомпьютер состоит из 46 вычислительных узлов, в том числе 6 новейших узлов для обучения нейронных сетей с восьмью GPU NVIDIA A100 80ГБ SXM в каждом, 29 специализированных узлов с большим объемом оперативной памяти 768-1536 ГБ и четырьмя графическими ускорителями NVIDIA Tesla V100 32 ГБ в каждом, а также 11 вычислительных узлов с мощными центральными процессорами.

Ресурсы вычислительного кластера предназначены для поддержки проведения фундаментальных научных исследований и организации учебного процесса, а также для выполнения научных и научно-практических проектов, требующих использования суперкомпьютерных систем. Ресурсы высокопроизводительного кластера выделяются по заявкам под конкретные проекты и на ограниченный период времени. Суперкомпьютер используется при выполнении исследований НИУ ВШЭ в таких областях, как:

  • Искусственный интеллект, машинное обучение,
  • Интеллектуальный анализ больших данных,
  • Математическое моделирование сложных систем и процессов,
  • Нейрокогнитивные исследования,
  • Вычислительная физика,
  • Прикладная математика,
  • Моделирование структуры и свойств химических систем и материалов,
  • Структурная и прикладная лингвистика,
  • Физика элементарных частиц и высоких энергий.

В настоящее время, суперкомпьютер НИУ ВШЭ занимает 10 позицию в рейтинге Top50 мощнейших суперкомпьютеров.

В 2020 году НИУ ВШЭ стал лауреатом Национальной премии в области эффективного применения передовых технологий "Приоритет-2020" за развитие суперкомпьютерных технологий.

В декабре 2020 г. суперкомпьютер “cHARISMa” был модернизирован. Добавлено 14 вычислительных узлы новых типов, требуемых для оптимальной производительности.
В сентябре 2021 г. проведён второй этап модернизации. Добавлено 6 вычислительных узлов, в каждом из которых установлено 8 мощнейших графических ускорителей NVIDIA A100 80 ГБ и 2 центральных процессора AMD EPYC 7702, и сервер резервного копирования ProLiant XL420 Gen10 (13 x 14 ТБ).

Технические характеристики
Количество узлов/CPU/Ядер/GPU/Ядер GPU 46/92/2584/164/925696
Модель процессора Intel Xeon Gold / AMD EPYC
Модель GPU NVIDIA Tesla V100 32 ГБ SXM (NVLink)
NVIDIA Tesla A100 80 ГБ SXM (NVLink
)
Оперативная память 52.4 ТБ
Параллельная система хранения данных Lustre 848 ТБ
Тип вычислительной сети InfiniBand EDR (2x100 Гбит/с)
Тип управляющей сети Gigabit Ethernet
Пиковая производительность (FP64) 2 Петафлопс
Производительность в LINPACK 927.4 Терафлопс
Пиковая производительность для ИИ (FP16) 30 AI-Петафлопс
Планировщик задач Slurm
Операционная система Linux CentOS

Типы вычислительных узлов

В суперкомпьютере НИУ ВШЭ используется пять типов мощных вычислительных узлов. Вычислительные узлы типа B используются для решения задач с очень большими объёмами данных. Узлы типа С отличаются большей связностью между центральными и графическими процессорами, чем A и B. Узлы типа D оптимальны для задач, использующих центральные процессоры. Узлы типа E предпочтительно использовать для обучения глубоких нейронных сетей и обработки больших объемов данных. О выборе типа вычислительных узлов для запуска задачи.

16 вычислительных узлов типа A (C4140K)
Центральные процессоры 2 x Intel Xeon Gold 6152 2.1-3.7 ГГц (2*22 ядер)  
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 768 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
10 вычислительных узлов типа B (C4140K)
Центральные процессоры 2 x Intel Xeon Gold 6152 2.1-3.7 ГГц (2*22 ядер) 
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 1536 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
3 вычислительных узла типа C (C4140M) 
Центральные процессоры 2 x Intel Xeon Gold 6240R 2.4-4 ГГц (2*24 ядер)  
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 768 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
11 вычислительных узлов типа D (R640) 
Центральные процессоры 2 x Intel Xeon Gold 6248R 3-4 ГГц (2*24 ядер)     
Графические процессоры Отсутствуют
Оперативная память 768 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 100 Гбит/с
Сетевой адаптер Ethernet 1 Гбит/с
6 вычислительных узлов типа E (HPE XL675d Gen10+
Центральные процессоры 2 x AMD EPYC 7702 2-3.35 ГГц (2*64 ядер)         
Графические процессоры 8 x NVIDIA A100 80 ГБ SXM (NVLink)
Платформа GPU NVIDIA HGX A100 8-GPU 
Оперативная память 1 ТБ
Энергонезависимая память 2 x SSD 960 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 200 Гбит/с
Сетевой адаптер Ethernet 1 Гбит/с

Схемы взаимодействия с GPU в вычислительных узлах

Вычислительные узлы типа A, B (слева) и C (справа)

Вычислительные узлы типа E

Суперкомпьютер "cHARISMa" в цифрах

10 место
в ТОП-50
164 графических процессора
NVIDIA A100 и V100
Более 440
активных пользователей
64 подразделения
используют суперкомпьютер
1 900 000 задач
Выполнено пользователями
2 Петафлопс
пиковая производительность
2584 процессорных ядер
Intel Xeon Gold / AMD EPYC
109 научных проектов
сейчас в работе
482 проекта
выполнено за 2020-2023
24/7
бесперебойная работа суперкомпьютера
30 AI-Петафлопс
пиковая производительность для задач Искусственного интеллекта
52/1256 ТБайт
Оперативная / дисковая память
Более 333 научных статей
опубликовано пользователями
Более 134 научных статей
в журналах из I квартиля SCOPUS и конференциях CORE A*
По 2335 заявкам от пользователей
выполнена техподдержка
  • Постройка первой очереди суперкомпьютера в 2019 году

    Установлено 26 вычислительных узлов с процессорами Intel Xeon и четырьмя ускорителями NVIDIA V100 в каждом.

  • Модернизация в 2020 году

    Добавлено:

    1) 3 вычислительных узла с графическими ускорителями NVIDIA V100 с современными материнскими платами и центральными процессорами Intel Xeon Gold 6240R.

    2) 11 вычислительных узлов с мощными центральными процессорами без GPU - для удовлетворения спроса на CPU-расчёты.

  • Модернизация в 2021 году

    Добавлено:

    1) 6 вычислительных узлов, в каждом из которых установлено 8 мощнейших графических ускорителей NVIDIA A100 80 ГБ SXM  и по 2 центральных процессора AMD EPYC 7702.

    2) Сервер для резервного копирования.


 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.