• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Суперкомпьютер "cHARISMa" НИУ ВШЭ

В НИУ ВШЭ работает высокопроизводительный вычислительный кластер "cHARISMa" (Computer of HSE for Artificial Intelligence and Supercomputer Modelling), входящий в рейтинг ТОП-50 суперкомпьютеров (6 место в редакции №31 списка ТОП-50 от 23.09.2019).

Суперкомпьютер состоит из 47 вычислительных узлов, в том числе 6 узлов для обучения нейронных сетей с восьмью GPU NVIDIA A100 80ГБ SXM в каждом, 29 специализированных узлов с большим объемом оперативной памяти 768-1536 ГБ и четырьмя графическими ускорителями NVIDIA Tesla V100 32 ГБ SXM в каждом, 1 узел на базе двух GPU NVIDIA H100 PCIe, а также 11 вычислительных узлов с мощными центральными процессорами.

Данные пользователей хранятся на параллельной файловой системе Lustre, объёмом 848 ТБ. В качестве вычислительной сети используется InfiniBand EDR 2x100 Гбит/с.

Суперкомпьютер "cHARISMa" в цифрах

10 место
в ТОП-50
166 графических процессоров
NVIDIA A100, V100 И H100
Более 440
активных пользователей
64 подразделения
используют суперкомпьютер
2 200 000 задач
Выполнено пользователями
2.12 Петафлопс
пиковая производительность
2616 процессорных ядер
Intel Xeon Gold / AMD EPYC
109 научных проектов
сейчас в работе
482 проекта
выполнено за 2020-2023
24/7
бесперебойная работа суперкомпьютера
33.3 AI-Петафлопс
пиковая производительность для задач машинного обучения
52/1256 ТБайт
Оперативная / дисковая память
Более 360 научных статей
опубликовано пользователями
Более 142 научных статей
в журналах из I квартиля SCOPUS и конференциях CORE A*
По 2335 заявкам от пользователей
выполнена техподдержка

Ресурсы вычислительного кластера предназначены для поддержки проведения фундаментальных научных исследований и организации учебного процесса, а также для выполнения научных и научно-практических проектов, требующих использования суперкомпьютерных систем. Ресурсы высокопроизводительного кластера выделяются по заявкам под конкретные проекты и на ограниченный период времени. Суперкомпьютер используется при выполнении исследований НИУ ВШЭ в таких областях, как:

  • Машинное обучение,
  • Интеллектуальный анализ больших данных,
  • Математическое моделирование сложных систем и процессов,
  • Нейрокогнитивные исследования,
  • Вычислительная физика,
  • Прикладная математика,
  • Моделирование структуры и свойств химических систем и материалов,
  • Структурная и прикладная лингвистика,
  • Физика элементарных частиц и высоких энергий.

В настоящее время, суперкомпьютер НИУ ВШЭ занимает 10 позицию в рейтинге Top50 мощнейших суперкомпьютеров.

В 2020 году НИУ ВШЭ стал лауреатом Национальной премии в области эффективного применения передовых технологий "Приоритет-2020" за развитие суперкомпьютерных технологий.

В декабре 2020 г. суперкомпьютер “cHARISMa” был модернизирован. Добавлено 14 вычислительных узлы новых типов, требуемых для оптимальной производительности.
В сентябре 2021 г. проведён второй этап модернизации. Добавлено 6 вычислительных узлов, в каждом из которых установлено 8 мощнейших графических ускорителей NVIDIA A100 80 ГБ и 2 центральных процессора AMD EPYC 7702, и сервер резервного копирования ProLiant XL420 Gen10 (13 x 14 ТБ).
В ноябре 2023 г. был удвоен объём оперативной памяти на узлах типа D, а также проведена замена аккумуляторов системы бесперебойного питания.
В августе 2024 г. был добавлен вычислительный узел с двумя графическими ускорителями NVIDIA H100 80 ГБ PCIe и двумя центральными процессорами Intel Xeon Gold 6426Y.

Технические характеристики
Количество узлов/CPU/Ядер/GPU/Ядер GPU 47/94/2616/166/954880
Модель процессора Intel Xeon Gold / AMD EPYC
Модель GPU 116 x NVIDIA V100 32 ГБ SXM (NVLink)
  48 x NVIDIA A100 80 ГБ SXM (NVLink)
    2 x NVIDIA H100 80 ГБ PCIe
Оперативная память 52.9 ТБ
Параллельная система хранения данных Lustre 848 ТБ
Тип вычислительной сети InfiniBand EDR (2x100 Гбит/с)
Тип управляющей сети Gigabit Ethernet
Пиковая производительность (FP64) 2.12 Петафлопс
Производительность в LINPACK 927.4 Терафлопс
Пиковая производительность (FP32) 3.2 Петафлопс
Пиковая производительность для ИИ (FP16) 33.3 AI-Петафлопс
Планировщик задач Slurm
Операционная система Linux CentOS

Типы вычислительных узлов

В суперкомпьютере НИУ ВШЭ используется шесть типов мощных вычислительных узлов. Вычислительные узлы типа B используются для решения задач с очень большими объёмами данных. Узлы типа С отличаются большей связностью между центральными и графическими процессорами, чем A и B. Узлы типа D оптимальны для задач, использующих центральные процессоры. Узлы типа E предпочтительно использовать для обучения глубоких нейронных сетей и обработки больших объемов данных. Узел типа F предназначен для работы над проектами ФКН. О выборе типа вычислительных узлов для запуска задачи.

16 вычислительных узлов типа A (C4140K)
Центральные процессоры 2 x Intel Xeon Gold 6152 2.1-3.7 ГГц (2*22 ядер)  
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 768 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
10 вычислительных узлов типа B (C4140K)
Центральные процессоры 2 x Intel Xeon Gold 6152 2.1-3.7 ГГц (2*22 ядер) 
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 1536 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
3 вычислительных узла типа C (C4140M) 
Центральные процессоры 2 x Intel Xeon Gold 6240R 2.4-4 ГГц (2*24 ядер)  
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 768 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
11 вычислительных узлов типа D (R640) 
Центральные процессоры 2 x Intel Xeon Gold 6248R 3-4 ГГц (2*24 ядер)     
Графические процессоры Отсутствуют
Оперативная память 768 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 100 Гбит/с
Сетевой адаптер Ethernet 1 Гбит/с
6 вычислительных узлов типа E (HPE XL675d Gen10+)
Центральные процессоры 2 x AMD EPYC 7702 2-3.35 ГГц (2*64 ядер)          
Графические процессоры 8 x NVIDIA A100 80 ГБ SXM (NVLink)
Оперативная память 1 ТБ
Энергонезависимая память 2 x SSD 960 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 200 Гбит/с
Сетевой адаптер Ethernet 1 Гбит/с
1 вычислительный узел типа F (R760XA) 
Центральные процессоры 2 x Intel Xeon Gold 6426Y 2.5-4.1 ГГц (2*16 ядер)
Графические процессоры 2 x NVIDIA H100 80 ГБ PCIe (NVLink Bridge)
Оперативная память 512 ГБ
Энергонезависимая память 2 x SSD 960 ГБ (RAID 1)
Сетевой адаптер InfiniBand 100 Гбит/с
Сетевой адаптер Ethernet 1 Гбит/с

Схемы взаимодействия с GPU в вычислительных узлах

Узлы типов A и B (V100)

Узлы типа C (V100)

Узлы типа E (A100)

Узел типа F (H100)

     
  • Постройка первой очереди суперкомпьютера в 2019 году

    Установлено 26 вычислительных узлов с процессорами Intel Xeon и четырьмя ускорителями NVIDIA V100 в каждом.

  • Модернизация в 2020 году

    Добавлено 14 вычислительных узлов:

    1) 3 вычислительных узла с графическими ускорителями NVIDIA V100 с современными материнскими платами и центральными процессорами Intel Xeon Gold 6240R.

    2) 11 вычислительных узлов с мощными центральными процессорами без GPU - для удовлетворения спроса на CPU-расчёты.

  • Модернизация в 2021 году

    Добавлено:

    1) 6 вычислительных узлов, в каждом из которых установлено 8 мощнейших графических ускорителей NVIDIA A100 80 ГБ SXM  и по 2 центральных процессора AMD EPYC 7702.

    2) Сервер для резервного копирования.

  • Модернизация в 2023 году

    1) Удвоен объём оперативной памяти на узлах типа D.

    2) Проведена замена аккумуляторов системы бесперебойного питания.

  • Модернизация в 2024 году

    Добавлен вычислительный узел с двумя графическими ускорителями NVIDIA H100 80 ГБ PCIe и двумя центральными процессорами Intel Xeon Gold 6426Y.


 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.