Jupyter Hub для высокопроизводительных вычислений

👉Вернуться к списку инструкций

Назначение: только для запуска уже подготовленных расчетов на суперкомпьютере.
Запрещается использовать установленный на суперкомпьютере JUPYTER HUB для учебной работы и для процесса разработки! 
Для учебных целей рекомендуется использовать бесплатный web-сервис Google Colab.

Запускать Jupyter Notebook можно только на вычислительных узлах, используя JupyterHub, доступный в личном кабинете пользователя суперкомпьютера. Ноутбуки, запущенные на головном логин-сервере (sms), будут принудительно завершены. 

Запуск Jupyter Notebook

Для запуска Jupyter Notebook авторизуйтесь в Личном кабинете пользователя суперкомпьютера при помощи учетных данных от ЕЛК.
В меню слева выберите Jupyter Notebook, откроется страница:

Нажмите кнопку "Запустить ноутбук", укажите параметры для запуска задачи и кликните "Запуск":

Задача будет поставлена в очередь для ожидания освобождения запрошенных ресурсов:
Чем меньше ресурсов требует ваша задача и чем меньше у нее временной лимит, тем быстрее она будет запущена планировщиком задач. Например, задачи на 1 ядро с ограничением 30 минут обычно запускаются сразу.
После запуска задачи на вычислительном узле кластера, откроется интерфейс Jupyter Notebook в оболочке JupyterLab:

Использование собственных окружений Anaconda в JupyterHub

Для того, чтобы запустить Jupyter Notebook через JupyterHub в собственном окружении Anaconda необходимо добавить в окружение пакет ipykernel. Для этого в своем окружении выполните команду conda install ipykernel

Обратите внимание: на вычислительных узлах нет доступа в Интернет. Все необходимые пакеты необходимо предварительно установить, подключившись к логин-серверу суперкомпьютера.

Переключить используемое окружение и ядро можно в уже запущенном ноутбуке, кликнув по названию ядра в правом верхнем углу или в меню Kernel -> Change Kernel...:

Для использования других языков программирования установите соответствующее ядро: https://github.com/jupyter/jupyter/wiki/Jupyter-kernels

Конвертация Jupyter-ноутбуков для запуска в пакетном режиме

Код из Jupyter-ноутбуков можно удобно сконвертировать в py-файл для запуска на суперкомпьютере в пакетном режиме. В этом случае ресурсы на вычислительных узлах будут освобождены сразу по завершению расчётов. Пошаговое руководство по конвертации описано в отдельной инструкции.