HPC-Workspaces

HPC-Workspaces — механизм управления временными рабочими каталогами на быстрой системе хранения данных /scratch.
Вместо того чтобы бессрочно хранить временные файлы, генерирующиеся при расчётах, пользователь заказывает каталоги на определённый срок, получает уведомление по электронной почте перед истечением срока и может продлевать срок, если каталог ещё необходим. Такой подход позволяет не допускать переполнение хранилища /scratch , не прибегая к периодическому полному удалению всех временных файлов пользователей. Пользователь всегда заранее знает сам, когда и какой каталог будет планово удален. 
Механизм разработан в суперкомпьютерном центре HLRS (Штутгарт) и внедрен во многих европейских вычислительных центрах.

Основные команды

Команды доступны сразу после входа на суперкомпьютер, дополнительная подготовка окружения не требуется.
У каждой команды есть встроенная справка, вызываемая ключом --help.

Создание каталога

Каталог заказывается командой ws_allocate с указанием имени и срока жизни в днях:

ws_allocate my_space 30

Info: creating workspace. /scratch/ws/ivanov-my_space  
remaining extensions : 5
remaining time in days: 30

Если срок не указан, каталог создаётся на срок по умолчанию (в таблице ниже). Указать срок больше максимально допустимого нельзя: заявка будет автоматически уменьшена до предельного значения, о чём команда сообщит.

При повторном вызове с тем же именем каталог не создаётся заново, а возвращается уже существующий, причём попытки продления не расходуются. Именно поэтому ws_allocate можно без опасений помещать непосредственно в скрипт задачи.

Напоминание о скором истечении срока

Ключ -r задаёт, за сколько дней до истечения срока следует прислать уведомление:

ws_allocate -r 7 my_space 30

Адрес электронной почты указывать не нужно — он определяется автоматически по учётной записи. Параметр запоминается и при последующих продлениях повторно указывать его не требуется.

Просмотр своих каталогов

ws_list

Подробный вывод с датами и остатком времени:

ws_list -v

id: my_space
workspace directory : /scratch/ws/ivanov-my_space
remaining time : 29 days 23 hours
creation time : Mon Aug 24 11:20:15 2026
expiration date : Wed Sep 23 11:20:15 2026
available extensions : 3

Обращайте внимание на строку available extensions — она показывает, сколько раз ещё можно продлить срок.

Продление срока

ws_extend my_space 30

Новый срок отсчитывается от момента выполнения команды и заменяет прежний, а не добавляется к нему. Соответственно, продлевать каталог имеет смысл ближе к концу срока, а не сразу после создания.

Число продлений ограничено. Если попытки продления исчерпаны, а каталог все еще действительно нужен, обратитесь в поддержку.

Освобождение каталога

Если данные больше не нужны, пожалуйста, сразу освободите каталог, не дожидаясь истечения срока:

ws_release my_space

Каталог исчезнет из вашего списка. Данные при этом некоторое время сохраняются и могут быть восстановлены — см. следующий раздел.

Восстановление

Каталог с истёкшим сроком не удаляется немедленно: в течение нескольких дней он остаётся доступным для восстановления. Посмотреть, что можно вернуть:

ws_restore -l

scratch: ivanov-my_space-1787402797
unavailable since Wed Sep 23 11:20:15 2026

Для восстановления сначала создайте каталог, в который будут перенесены данные, а затем выполните восстановление, указав идентификатор из списка выше:

ws_allocate rescue 30
ws_restore ivanov-my_space-1787402797 rescue

Перед началом операции будет предложено набрать проверочное слово (капчу), выведенное на экран. Проверка сделана намеренно, чтобы восстановление нельзя было выполнить автоматически: каждый каталог возвращается осознанно. По этой же причине команда работает только в интерактивном режиме и неприменима внутри скриптов задач. По истечении срока хранения восстановление становится невозможным.

Пути к каталогам

Фактически рабочие каталоги располагаются в директории /scratch/ws/ и имеют вид <логин>-<имя>. Например: /scratch/ws/ivanov-my_space
Список своих рабочих каталогов удобно просматривать в персональной директории ~/scratch/ws/, в ней создаются символичесике ссылки.
Ссылки обновляются автоматически при входе на суперкомпьютер и при запуске задач: новые каталоги появляются, ссылки на удалённые исчезают. Работать можно с любым из двух путей — это один и тот же каталог.

Обратите внимание на две особенности работы с символическими ссылками. Команды du и find по умолчанию по ссылкам не переходят, поэтому для подсчёта занимаемого объёма используйте ключ -L:

du -shL /scratch/ivanov/ws/my_space

Команда pwd внутри каталога покажет путь через ссылку, а pwd -P — фактический путь. Если путь требуется записать в конфигурационный файл расчёта, надёжнее использовать фактический путь:

ws_find my_space

Ограничения

Данные, ожидающие окончательного удаления после окончания срока жизни каталога, продолжают занимать место на разделе. Если вам необходимо освободить место немедленно, восстановите устаревший каталог, удалите его содержимое и затем освободите каталог повторно.

Дополнительные материалы

• Руководство пользователя (на английском языке)
• Правила доступа к суперкомпьютеру НИУ ВШЭ
• Техническая поддержка