Суперкомпьютер "cHARISMa" НИУ ВШЭ
В НИУ ВШЭ работает высокопроизводительный вычислительный кластер "cHARISMa" (Computer of HSE for Artificial Intelligence and Supercomputer Modelling), входящий в рейтинг ТОП-50 суперкомпьютеров (6 место в редакции №31 списка ТОП-50 от 23.09.2019).
Суперкомпьютер состоит из 51 вычислительного узла, в том числе 6 узлов для обучения нейронных сетей с восемью GPU NVIDIA A100 80 ГБ SXM в каждом, 29 специализированных узлов с большим объёмом оперативной памяти 768–1536 ГБ и четырьмя графическими ускорителями NVIDIA Tesla V100 32 ГБ SXM, 2-х узлов на базе 2-х GPU NVIDIA H100 80 ГБ PCIe, 1-го узла с четырьмя GPU NVIDIA H200 141 ГБ NVL и 2-х узлов с 8-ю такими GPU, а также 11 вычислительных узлов с мощными центральными процессорами.
Данные пользователей хранятся на параллельной файловой системе Lustre, объёмом 848 ТБ. В качестве вычислительной сети используется InfiniBand EDR 2x100 Гбит/с.
Суперкомпьютер "cHARISMa" в цифрах
Ресурсы вычислительного кластера предназначены для поддержки проведения фундаментальных научных исследований и организации учебного процесса, а также для выполнения научных и научно-практических проектов, требующих использования суперкомпьютерных систем. Ресурсы высокопроизводительного кластера выделяются по заявкам под конкретные проекты и на ограниченный период времени. Суперкомпьютер используется при выполнении исследований НИУ ВШЭ в таких областях, как:
- Машинное обучение,
- Интеллектуальный анализ больших данных,
- Математическое моделирование сложных систем и процессов,
- Нейрокогнитивные исследования,
- Вычислительная физика,
- Прикладная математика,
- Моделирование структуры и свойств химических систем и материалов,
- Структурная и прикладная лингвистика,
- Физика элементарных частиц и высоких энергий.
В настоящее время, суперкомпьютер НИУ ВШЭ занимает 10 позицию в рейтинге Top50 мощнейших суперкомпьютеров.
В 2020 году НИУ ВШЭ стал лауреатом Национальной премии в области эффективного применения передовых технологий "Приоритет-2020" за развитие суперкомпьютерных технологий.
В декабре 2020 г. суперкомпьютер “cHARISMa” был модернизирован. Добавлено 14 вычислительных узлы новых типов, требуемых для оптимальной производительности.
В сентябре 2021 г. проведён второй этап модернизации. Добавлено 6 вычислительных узлов, в каждом из которых установлено 8 графических ускорителей NVIDIA A100 80 ГБ и 2 центральных процессора AMD EPYC 7702, и сервер резервного копирования ProLiant XL420 Gen10 (13 x 14 ТБ).
В ноябре 2023 г. был удвоен объём оперативной памяти на узлах типа D, а также проведена замена аккумуляторов системы бесперебойного питания.
В августе и ноябре 2024 г. были добавлены вычислительные узлы с двумя графическими ускорителями NVIDIA H100 80 ГБ PCIe и двумя центральными процессорами Intel Xeon Gold 6426Y.
В декабре 2025 года в кластер добавлены 3 новых вычислительных узла на базе 2-x процессоров Intel Xeon каждый, с графическими ускорителями NVIDIA H200 141 ГБ NVL: один узел с 4 GPU, два узла — на 8 GPU.
| Технические характеристики | |
|---|---|
| Количество узлов/CPU/Ядер CPU/GPU/Ядер GPU | 51/102/2904/184/1438848 |
| Модель процессора | Intel Xeon / AMD EPYC |
| Модель GPU | 20 x NVIDIA H200 141 ГБ NVL  4 x NVIDIA H100 80 ГБ NVL 48 x NVIDIA A100 80 ГБ SXM 116 x NVIDIA V100 32 ГБ SXM |
| Оперативная память | 53.5 ТБ |
| Параллельная система хранения данных | Lustre 848 ТБ |
| Тип вычислительной сети | InfiniBand EDR (2x100 Гбит/с) |
| Тип управляющей сети | Gigabit Ethernet |
| Пиковая производительность (FP64) | 3.52 Петафлопс |
| Производительность в LINPACK | 975.6 Терафлопс + 807.2 Терафлопс |
| Пиковая производительность (FP32) | 4.57 Петафлопс |
| Пиковая производительность (TF32) | 31 Петафлопс |
| Пиковая производительность для ИИ (FP16) | 91 Петафлопс |
| Планировщик задач | Slurm |
| Операционная система | Linux CentOS / Rocky Linux |
Типы вычислительных узлов
В суперкомпьютере НИУ ВШЭ используется восемь типов мощных вычислительных узлов. Вычислительные узлы типа B используются для решения задач с очень большими объёмами данных. Узлы типа С отличаются большей связностью между центральными и графическими процессорами, чем A и B. Узлы типа D оптимальны для задач, использующих центральные процессоры. Узлы типа E предпочтительно использовать для обучения глубоких нейронных сетей и обработки больших объемов данных. Узлы типа F — универсальные GPU-узлы для проведения вычислительных экспериментов, а также обучения и инференса моделей малого и среднего масштаба. Узлы типа G ориентированы на задачи с очень большими объёмами данных и моделей, требующих одновременно большого объёма оперативной и видеопамяти. Узлы типа H предназначены для крупномасштабного распределённого обучения, в том числе больших языковых и мультимодальных моделей, и других наиболее ресурсоёмких вычислительных задач. О выборе типа вычислительных узлов для запуска задачи.
| 1 вычислительный узел типа G (MSI CG480-S5063) | |
|---|---|
| Центральные процессоры | 2 x Intel Xeon 6730P 2.5-3.8 ГГц (2x32 ядер) |
| Графические процессоры | 4 x NVIDIA H200 141 ГБ NVL (2 x NVLink Bridge 4 way) |
| Оперативная память | 1.5 ТБ |
| Энергонезависимая память | 2 x SSD NVMe 1.92 ТБ (RAID 1) |
| Сетевой адаптер InfiniBand | 4 x 100 Гбит/с |
| 2 вычислительных узла типа H (MSI CG480-S5063) | |
|---|---|
| Центральные процессоры | 2 x Intel Xeon 6747P 2.5-3.8 ГГц (2x48 ядер) |
| Графические процессоры | 8 x NVIDIA H200 141 ГБ NVL (2 x NVLink Bridge 4 way) |
| Оперативная память | 2 ТБ |
| Энергонезависимая память | 2 x SSD NVMe 1.92 ТБ (RAID 1) |
| Сетевой адаптер InfiniBand | 4 x 100 Гбит/с |
Схемы взаимодействия с GPU в вычислительных узлах
-
Постройка первой очереди суперкомпьютера в 2019 году
Установлено 26 вычислительных узлов с процессорами Intel Xeon и четырьмя ускорителями NVIDIA V100 в каждом.
-
Модернизация в 2020 году
Добавлено 14 вычислительных узлов:
1) 3 вычислительных узла с графическими ускорителями NVIDIA V100 с современными материнскими платами и центральными процессорами Intel Xeon Gold 6240R.
2) 11 вычислительных узлов с мощными центральными процессорами без GPU - для удовлетворения спроса на CPU-расчёты.
-
Модернизация в 2021 году
Добавлено:
1) 6 вычислительных узлов, в каждом из которых установлено 8 графических ускорителей NVIDIA A100 80 ГБ SXM и по 2 центральных процессора AMD EPYC 7702.
2) Сервер для резервного копирования.
-
Модернизация в 2023 году
1) Удвоен объём оперативной памяти на узлах типа D.
2) Проведена замена аккумуляторов системы бесперебойного электропитания.
-
Модернизация в 2024 году
Добавлены 2 вычислительных узла с двумя графическими ускорителями NVIDIA H100 80 ГБ PCIe и двумя центральными процессорами Intel Xeon Gold 6426Y в каждом.
-
Модернизация в 2025 году
Добавлено:
1) 20 современных GPU Nvidia H200 141 ГБ NVL (один вычислительный узел типа G с 4 GPU, два узла типа F с 8 GPU).
2) Управляющий сервер DELL R760, совмещённый с 16 x NVME для быстрой обработки датасетов (112 TB RAW).
3) Сервер на базе 4 GPU Nvidia H200 141 GB и два сервера с 96 ядрами для проекта iFora.
Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.