Базовая инструкция для пользователей суперкомпьютера НИУ ВШЭ

Вычислительный кластер (суперкомпьютер) НИУ ВШЭ состоит из вычислительных узлов, объединенных высокоскоростной коммуникационной сетью. Каждый вычислительный узел имеет свою оперативную память и твердотельный накопитель, а также подключен к общему параллельному сетевому хранилищу. Чтобы независимые вычислительные узлы работали как единый компьютер, используется специальное параллельное программное обеспечение.
Как правило, работа с вычислительным кластером состоит из трех этапов:

1. Пользователь подготавливает на своём компьютере исходные данные для имеющегося прикладного программного обеспечения суперкомпьютера или пишет собственную параллельную программу.
2. Подключается к головному узлу кластера (логин-серверу) по SSH-протоколу (консолью), загружает исходные данные и ставит свою задачу в очередь на расчёт.
3. Пользователь загружает результат с вычислительного кластера на свой персональный компьютер и изучает его локально.

Важно! Суперкомпьютер - это не сервер, а кластер. Сначала вы подключаетесь к головному узлу (логин-серверу), на котором нельзя запускать расчёты, с него можно только выполнять постановку задач в очередь. Непосредственное же выполнение расчётов происходит на мощных вычислительных узлах кластера, на которые ваши задачи распределит очередь задач.

Удаленное подключение к суперкомпьютеру осуществляется через головной узел (логин-сервер) по протоколу SSH по адресу cluster.hpc.hse.ru, порт 2222.
В операционных системах Linux и Mac OS для подключения используется приложение ssh (см. инструкцию), для Microsoft Windows рекомендуется свободно распространяемая программа PuTTY (см. инструкцию).
Вход в систему начинается с системного приглашения login: В ответ на него следует ввести имя пользователя и нажать клавишу [ENTER]. Затем система запросит пароль пользователя. Введите пароль и нажмите клавишу [ENTER]. Обратите внимание, при вводе пароля символы на экране не печатаются, тем не менее, сам пароль вводится.
Для смены своего пароля после входа в систему необходимо воспользоваться командой passwd
Потребуется ввести свой текущий пароль, затем новый и подтверждение нового. Вводимые символы отображаться не будут.

Для передачи файлов на вычислительный кластер воспользуйтесь программами, поддерживающими протокол SFTP. Для MS Windows рекомендуется программа WinSCP (см. инструкцию), для ОС Linux - scp (см. инструкцию), для MacOS - программы scp/Cyberduck/Mountain Duck.

В соответствии с правилами, пользователь самостоятельно обеспечивает резервное копирование своих данных. Хранение данных, которые уже не участвуют в вычислениях, на суперкомпьютере не допускается.

Пользовательские директории имеют вид /home/$USER и /scratch/$USER и физически размещены на параллельных хранилищах данных Lustre. Использование scratch обязательно при обработке больших датасетов, в остальных случаях допускается работать с файлами напрямую из home. Максимальный объем данных для пользователя обусловлен дисковой квотой, определяемой при регистрации (в дальнейшем квота может быть увеличена при необходимости). Для просмотра текущей квоты используйте команду checkquota. Кроме того, на каждом вычислительном узле доступен локальный каталог для временных файлов ($TMPDIR), размещенный на SSD узла. После окончания работы программы временные файлы пользователя в /tmp узла удаляются автоматически.

Более подробно о домашних директориях.

Для управления версиями прикладных программных пакетов и библиотек на суперкомпьютере установлен программный пакет Lmod. Он позволяет гибко настраивать переменные окружения для использования тех или иных версий ПО и отслеживания их зависимостей (в том числе, при запуске в пакетном режиме с помощью sbatch). Также использование Lmod позволяет гибко управлять разными версиями приложения (например, можно быстро переключаться между различными версиям компиляторов и версиями библиотеки MPI).

Использование пакета Lmod

Для компиляции программ на вычислительном кластере НИУ ВШЭ установлены:

1. Проприетарный пакет Intel Parallel Studio XE Cluster Edition for Linux.
2. Набор бесплатных компиляторов GNU Compiler Collection.

Использование компилятора и библиотек Intel является предпочтительным, так как это обеспечивает существенное ускорение выполнения программ на центральных процессорах Intel суперкомпьютера. Более подробную информацию по компиляции программ смотрите в инструкции.

Для запуска расчётов на суперкомпьютере пользователи обязаны использовать систему управления заданиями Slurm. Данная система (планировщик задач) управляет доступными ресурсами и размещает задачи на подходящих свободных вычислительных узлах. В соответствии с правилами, на головном узле запрещено выполнять задачи, требующие значимых вычислительных ресурсов.

Для постановки задачи в очередь рекомендуется использовать команду sbatch. Для её работы необходимо подготовить скрипт-файл с нужными ключами и командами:

#!/bin/bash
#SBATCH <ключ sbatch> <значение>
#SBATCH <ключ sbatch> <значение>
<пользовательские команды>

Другим способом запуска задачи в очереди является команда srun, выполняющая задачу интерактивно. Например: srun [опции] my_mpi_task

Подробная информация по запуску задач доступна в отдельной инструкции.

В системе управления заданиями Slurm создано несколько очередей. Они позволяют распределять ресурсы суперкомпьютера так, чтобы пользователи могли запускать стабильные задачи или быстро тестировать код, без длительного ожидания.

Список доступных очередей доступен в отдельной инструкции.

Посмотреть текущее состояние очереди задач можно командой squeue.

Для просмотра состояния только своих задач используйте короткую команду mj.

Для удаления задачи из очереди используйте команду scancel [номер задачи].

Список базовых команд в ОС Linux:

• pwd - вывести полный путь текущего каталога
• cd [путь] - сменить текущий каталог
• ls - показать содержимое каталога
• cp <источник> <получатель> - скопировать файл
• mv <источник> <получатель> - переместить файл
• rm <путь> - удалить файл
• cat <путь> - вывести содержимое файла в консоли
• mcedit [путь] - открыть текстовый редактор файлов
• exit - выйти из оболочки (или отключиться от суперкомпьютера)

Справку по любой команде в ОС Linux можно получить с помощью команды man <имя_команды> или <имя_команды> --help.

Для более подробного знакомства с ОС Linux Вы можете пройти бесплатные курсы, например:

• Stepik: Основы Linux
• Stepik: Введение в Linux

Предлагаем также краткие пособия по разработке параллельных программ с использованием MPI:

• Антонов А. С. Введение в параллельные вычисления (PDF, 696 Кб)

• Антонов А. С. Параллельное программирование с использованием технологии MPI: Учебное пособие (PDF, 393 Кб)

Для организации совместного доступа к файлам существует возможность создать общую папку для проекта в каталоге одного из пользователей (например, в каталоге руководителя проекта).

Подготовить общую папку можно с помощью следующих команд:

• Скопируйте bash-скрипт себе в каталог: cp /opt/hse/create_shared_folder.sh .
• Поменяйте в скопированном файле значения переменных folder_name (имя общей папки) и users (список пользователей, у кого будет доступ до общей папки)
• Запустите скрипт на выполнение: bash create_shared_folder.sh

Т.к. регистрация пользователей на суперкомпьютере производится через Единый личный кабинет НИУ ВШЭ, то при блокировке учетной записи отделом персонала, прекращается и доступ пользователя на суперкомпьютер. Если сотрудник при этом продолжает работать (идёт процесс переоформления договора или перевод в другое подразделение через увольнение), то руководитель работника может проставить дату повторного приёма в ЕЛК (сервис "Установка ДПП в подразделении"), либо обратиться в управление персонала по адресу personal@hse.ru с этой просьбой. В таком случае учетная запись разблокируется автоматически на следующий день после установки даты.

Плановые профилактические работы на суперкомпьютере проводятся ежемесячно в последний рабочий день месяца (пн-пт) с 9:30 до 18:00. На время профилактических работ очередь задач приостанавливается, a доступ для пользователей закрывается. Активные задачи снимаются. Задачи, поддерживающие перезапуск (см. пункт Перезапуск задач в инструкции по запуску), перезапускаются после окончания работ.

Плановая профилактика проводится для того, чтобы обеспечить пользователям стабильную работу кластера в течение целого месяца.

Для решения возникающих вопросов по использованию вычислительного кластера НИУ ВШЭ обратитесь к специалистам отдела суперкомпьютерного моделирования, создав заявку на портале поддержки hpc.hse.ru/support, либо по электронной почте hpc@hse.ru. В заявке следует подробно описать возникшую проблему и шаги по её воспроизведению.

Для организации совместного доступа к файлам существует возможность создать общую папку для проекта в каталоге одного из пользователей (например, в каталоге руководителя проекта). Для создания общей папки необходимо:

1. Создать каталог, который будет выполнять роль общей папки, в домашнем каталоге руководителя проекта (например, user): mkdir /home/user/proj_xxxx_shared
2. Установить на каталог права доступа для пользователя-участника проекта (например student): setfacl -R -m u:student:rwx /home/user/proj_xxxx_shared
3. Установить на каталог права доступа по умолчанию для пользователя student: setfacl -R -d -m u:student:rwx /home/user/proj_xxxx_shared
4. Установить на домашний каталог пользователя, владельца общей папки, прав доступа для пользователя student: setfacl -m u:student:--x /home/user/
5. Теперь пользователь student имеет доступ к каталогу /home/user/proj_xxxx_shared и может работать с файлами в нём. Чтобы назначить права для других пользователей, необходимо повторить шаги 2-4, изменив логин пользователя.
6. Для удобства, каждый пользователь может разместить у себя в домашнем каталоге ссылку на общую папку с помощью команды: ln -s /home/user/proj_xxxx_shared proj_xxxx_shared

Также можно воспользоваться bash-скриптом для выполнения этих действий. Общая папка будет создана в каталоге пользователя, запустившего скрипт. Скопируйте его к себе в каталог: cp /opt/hse/create_shared_folder.sh .
И поменяйте значения переменных folder_name (имя общей папки) и users (список пользователей, у кого будет доступ до общей папки). После чего запустите на выполнение: bash create_shared_folder.sh.
 

Текст скрипта