Датасеты

👉Вернуться к списку инструкций

Для экономии дискового пространства, общеизвестные датасеты не дублируются в каталогах пользователей, а размещаются в общей директории:

/opt/software/datasets

На текущий момент, в общей директории уже размещены (по запросам пользователей) следующие датасеты:

1. Stanford ImageNET (ILSVRC 2014-2017), Cars - 1.9 ГБ, CheXpert: Chest X-rays - 440 ГБ
2. University of Toronto CIFAR-10, CIFAR-100 - 0.7 ГБ
3. University of Edinburgh CINIC-10 - 1.2 ГБ
4. Caltech 101, 256 - 1.4 ГБ
5. Oxford Describable Textures Dataset (DTD),  FGVC-Aircraft, 102 Category Flower, IIIT Pet - 4.6 ГБ
6. OpenSLR LibriSpeech ASR corpus SLR12 - 62 ГБ
7. Rotterdam EyePACS AIROGS train set - 62 ГБ
8. ETH Zürich Food-101 - 5 ГБ
9. HaGRID Hand Gesture Recognition Image Dataset (тестовая выборка) - 57 ГБ
10. Huawei ONCE Dataset - 63 ГБ
11. KIT KITTY (png + jpg) - 171 ГБ
12. Waymo Open Perception Dataset 1.4.2 - 761 ГБ
13. Google Landmarks Dataset v2 - 800 ГБ
14. TUM WeatherBench - 5 ТБ (в другой директории, доступ по запросу)
15. SigSep MUSDB18-HQ - 30 ГБ
16. Music AI MoisesDB - 139 ГБ

Если Вам необходим другой датасет для вашего проекта, создайте заявку. Мы оперативно скачаем и разместим новые датасеты в эту же директорию, чтобы они стали доступны всем пользователям и не дублировались в домашних директориях.

Пример использования

Укажите в качестве источника директорию с интересующим вас датасетом. Не копируйте датасет к себе.
В качестве примера приведен sbatch-скрипт для запуска обучения модели для системы OpenPose:

#!/bin/bash
#SBATCH --job-name=openpose             # Название задачи
#SBATCH --error=openpose-%j.err         # Файл для вывода ошибок
#SBATCH --output=openpose-%j.log        # Файл для вывода результатов
#SBATCH --time=1:00:00                  # Максимальное время выполнения
#SBATCH --ntasks 1                      # Количество MPI процессов
#SBATCH --nodes 1                       # Требуемое кол-во узлов
#SBATCH --gpus 1                        # Требуемое кол-во GPU

module load OpenPose/1.6                # Загрузка модуля OpenPose
# Выполнение обучения ИНС на 1 ядре CPU и 1 GPU
srun openpose.bin -display 0 -image_dir /opt/software/datasets/openpose/v1.6-examples-media -model_folder $MODELS_DIR -write_images ./

Для постановки этой тестовой задачи в очередь выполните команду sbatch openpose.sbatch

Полезные ссылки:
1. Инструкция Пример обучения нейронной сети с использованием PyTorch