Домашние директории и их очистка

👉 Регистрация на суперкомпьютере
👉 Инструкции для пользователей
👉 Базовая инструкция для пользователей

Общая информация

1. home — домашняя директория пользователя (срок хранения данных до 3 месяцев);
2. scratch — рабочая директория для временных данных и датасетов, используемых в расчетах (срок хранения данных 1 месяц).  Данные в scratch не резервируются и могут быть удалены в любое время. Важные файлы, итоговые результаты расчетов и данные, которые необходимо сохранить, следует как можно скорее переносить на свой компьютер или в домашнюю директорию.

О директории scratch

Директория scratch расположена на массиве быстрых NVMe дисков и предназначена для краткосрочного хранения данных, с которыми пользователь работает в настоящий момент. Пользовательская директория scratch находится по пути: /scratch/$USER
Не следует использовать scratch как постоянное хранилище. Для долговременного хранения данных следует использовать персональный компьютер или домашнюю директорию (3 месяца). Временные, промежуточные и неиспользуемые данные следует регулярно удалять.

1. Scratch используется для задач, связанных с глубоким обучением, он адаптирован для работы с миллионами маленьких файлов, из которых состоят датасеты.
2. Для естественно-научных и инженерных вычислений scratch использовать необязательно. Кластер имеет довольно производительное хранилище home, ориентированое на работу с крупными файлами, специфичными для естественно-научных и инженерных расчетов.
3. Не копируйте распакованные датасеты между home и scratch, это создаст высокую бесполезную нагрузку на хранилище home, неприспособленное к работе с миллионами маленьких файлов.
4. Распаковывайте скачанные датасеты напрямую в scratch, например tar -xzvf ./датасет.tar.gz -C /scratch/$USER/datasets/ или tar -x -I lz4 -f ./датасет.tar.lz4 -C /scratch/$USER/datasets/ или  unzip ./датасет.zip -d /scratch/$USER/datasets/
5. Если нужно передать датасет обратно в home, делайте это так: tar -cvf - /scratch/$USER/datasets/ | lz4 - > ~/datasets.tar.lz4 В этом случае в home запишется один большой файл, что не создаст нагрузки.
6. Не дублируйте себе общедоступные датасеты (наборы данных), т.к. они и так размещены на NVMe.
7. Удаляйте лишние директории и файлы командой rm -rf путь_к_директории или  rmfast путь_к_директории. Не храните файлы дольше 30 дней.

Как найти директории с неиспользуемыми файлами

Для обнаружения директорий со старыми файлами воспользуйтесь страницей "Хранилище" системы мониторинга производительности HPC TaskMaster. Проверка директорий пользователей происходит раз в квартал. Отчет о старых файлах появляется на странице, а также присылается в корпоративную почту.

Очистка директорий home и scratch

Пожалуйста, регулярно удаляйте:

Многие файлы находятся в скрытых каталогах, имена которых начинаются с точки:

~/.cache ~/.conda/ ~/.local/ ~/.cache/huggingface/

Например, в каталог ~/.cache/huggingface/ автоматически загружаются датасеты и модели с портала HuggingFace, где они и остаются лежать. Удаляйте, пожалуйста, неиспользуемые датасеты и модели.

Как удалить конкретные файлы и директории

Зайдите в терминал (подключитесь через SSH или воспользуйтесь терминалом встроенным в JupyterHub).
Если вы точно знаете, какие файлы или директории больше не нужны, их можно удалить вручную из командной строки.

Чтобы удалить директорию со всем содержимым без подтверждений выполните в терминале:

rm -rf путь_к_директории

Удаленные файлы нельзя восстановить. Не удаляйте директории, назначение которых вам неизвестно, а также внимательно проверяйте, что путь к удаляемой директории указан правильно.

Не используйте Midnight Commander (mc) и File Browser в JupyterHub для удаления директорий, содержащих большое количество файлов – это очень медленно и создает лишнюю нагрузку на систему хранения данных. Для удаления используйте команду rm в терминале.

Датасеты

На кластере есть общая директория с популярными датасетами. Если члены вашей научной группы используют одни и те же наборы данных, создайте, пожалуйста, заявку, чтобы мы перенесли данные в общий доступ во избежание дублирования.