• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Суперкомпьютер "cHARISMa" НИУ ВШЭ

В НИУ ВШЭ работает высокопроизводительный вычислительный кластер "cHARISMa" (Computer of HSE for Artificial Intelligence and Supercomputer Modelling), входящий в рейтинг ТОП-50 суперкомпьютеров СНГ (6 место в редакции №31 списка ТОП-50 от 23.09.2019).

Суперкомпьютер состоит из 46 вычислительных узлов, в том числе 6 новейших узлов для обучения нейронных сетей с восьмью GPU NVIDIA A100 80ГБ SXM в каждом, 29 специализированных узлов с большим объемом оперативной памяти 768-1536 ГБ и четырьмя графическими ускорителями NVIDIA Tesla V100 32 ГБ в каждом, а также 11 вычислительных узлов с мощными центральными процессорами.

Ресурсы вычислительного кластера предназначены для поддержки проведения фундаментальных научных исследований и организации учебного процесса, а также для выполнения научных и научно-практических проектов, требующих использования суперкомпьютерных систем. Ресурсы высокопроизводительного кластера выделяются по заявкам под конкретные проекты и на ограниченный период времени. Суперкомпьютер используется при выполнении исследований НИУ ВШЭ в таких областях, как:

  • Искусственный интеллект, машинное обучение,
  • Интеллектуальный анализ больших данных,
  • Математическое моделирование сложных систем и процессов,
  • Нейрокогнитивные исследования,
  • Вычислительная физика,
  • Прикладная математика,
  • Моделирование структуры и свойств химических систем и материалов,
  • Структурная и прикладная лингвистика,
  • Физика элементарных частиц и высоких энергий.

В настоящее время, суперкомпьютер НИУ ВШЭ занимает 10 позицию в рейтинге Top50 мощнейших суперкомпьютеров СНГ.

В 2020 году НИУ ВШЭ стал лауреатом Национальной премии в области эффективного применения передовых технологий "Приоритет-2020" за развитие суперкомпьютерных технологий.

В декабре 2020 г. суперкомпьютер “cHARISMa” был модернизирован. Добавлено 14 вычислительных узлы новых типов, требуемых для оптимальной производительности.
В сентябре 2021 г. проведён второй этап модернизации. Добавлено 6 вычислительных узлов, в каждом из которых установлено 8 мощнейших графических ускорителей NVIDIA A100 80 ГБ и 2 центральных процессора AMD EPYC 7702, и сервер резервного копирования ProLiant XL420 Gen10 (13 x 14 ТБ).

Технические характеристики
Количество узлов/CPU/Ядер/GPU 46/92/2584/164
Модель процессора Intel Xeon Gold / AMD EPYC
Модель GPU NVIDIA Tesla V100 32 ГБ NVLink
NVIDIA Tesla A100 80 ГБ NVLink
Оперативная память 48.2 ТБ
Параллельная система хранения данных Lustre 848 ТБ
Тип вычислительной сети InfiniBand EDR (2x100 Гбит/с)
Тип управляющей сети Gigabit Ethernet
Пиковая производительность 2 Петафлопс
Производительность в LINPACK 927.4 Терафлопс
Планировщик задач Slurm
Операционная система Linux CentOS

Типы вычислительных узлов

В суперкомпьютере НИУ ВШЭ используется пять типов мощных вычислительных узлов. Вычислительные узлы типа B используются для решения задач с очень большими объёмами данных. Узлы типа С отличаются большей связностью между центральными и графическими процессорами, чем A и B. Узлы типа D оптимальны для задач, использующих центральные процессоры. Узлы типа E предпочтительно использовать для обучения глубоких нейронных сетей и обработки больших объемов данных. О выборе типа вычислительных узлов для запуска задачи.

16 вычислительных узлов типа A (C4140K)
Центральные процессоры 2 x Intel Xeon Gold 6152 2.1-3.7 ГГц (2*22 ядер)  
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 768 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
10 вычислительных узлов типа B (C4140K)
Центральные процессоры 2 x Intel Xeon Gold 6152 2.1-3.7 ГГц (2*22 ядер) 
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 1536 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
3 вычислительных узла типа C (C4140M) 
Центральные процессоры 2 x Intel Xeon Gold 6240R 2.4-4 ГГц (2*24 ядер)  
Графические процессоры 4 x NVIDIA Tesla V100 32 ГБ NVLink
Оперативная память 768 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 100 Гбит/с
Сетевой адаптер Ethernet 10 Гбит/с
11 вычислительных узлов типа D (R640) 
Центральные процессоры 2 x Intel Xeon Gold 6248R 3-4 ГГц (2*24 ядер)     
Графические процессоры Отсутствуют
Оперативная память 384 ГБ
Энергонезависимая память 2 x SSD 240 ГБ (RAID 1)
Сетевой адаптер InfiniBand 100 Гбит/с
Сетевой адаптер Ethernet 1 Гбит/с
6 вычислительных узлов типа E (HPE XL675d Gen10+
Центральные процессоры 2 x AMD EPYC 7702 2-3.35 ГГц (2*64 ядер)         
Графические процессоры 8 x NVIDIA A100 80 ГБ SXM (NVLink)
Платформа GPU NVIDIA HGX A100 8-GPU 
Оперативная память 1 ТБ
Энергонезависимая память 2 x SSD 960 ГБ (RAID 1)
Сетевой адаптер InfiniBand 2 x 200 Гбит/с
Сетевой адаптер Ethernet 1 Гбит/с

Схемы взаимодействия с GPU в вычислительных узлах

Вычислительные узлы типа A, B (слева) и C (справа)

Вычислительные узлы типа E

Суперкомпьютер "cHARISMa" в цифрах

10 место
в ТОП-50 СНГ
164 графических процессора
NVIDIA A100 и V100
Более 380
активных пользователей
64 подразделения
используют суперкомпьютер
1 150 000 задач
Выполнено пользователями
2 Петафлопс
пиковая производительность
2584 процессорных ядер
Intel Xeon Gold / AMD EPYC
84 научных проекта
сейчас в работе
600 проектов
выполнено за 2020-2022
24/7
бесперебойная работа суперкомпьютера
46 вычислительных узлов
48.2/1256 ТБайт
Оперативная / дисковая память
Более 224 научных статей
опубликовано пользователями
Более 75 научных статей
в журналах из I квартиля SCOPUS и конференциях CORE A*
По 1300 заявкам от пользователей
выполнена техподдержка
  • Постройка первой очереди суперкомпьютера в 2019 году

    Установлено 26 вычислительных узлов с процессорами Intel Xeon и четырьмя ускорителями NVIDIA V100 в каждом.

  • Модернизация в 2020 году

    Добавлено:

    1) 3 вычислительных узла с графическими ускорителями NVIDIA V100 с современными материнскими платами и центральными процессорами Intel Xeon Gold 6240R.

    2) 11 вычислительных узлов с мощными центральными процессорами без GPU - для удовлетворения спроса на CPU-расчёты.

  • Модернизация в 2021 году

    Добавлено:

    1) 6 вычислительных узлов, в каждом из которых установлено 8 мощнейших графических ускорителей NVIDIA A100 80 ГБ SXM  и по 2 центральных процессора AMD EPYC 7702.

    2) Сервер для резервного копирования.


 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.