Использование сервиса WandB

Web-сервис по сбору метрик обучения WandB популярен среди разработчиков моделей исскуственных нейронных сетей, поэтому, доступ к нему открыт.

В то же время online-сбор метрик отрицательно сказывается на производительности самой задачи, поэтому мы рекомендуем использовать offline-режим: метрики будут собираться локально, а процесс их синхронизации с сервисом пользователь может выполнять самостоятельно по мере необходимости.

Для активации OFFLINE-режима:

1 шаг

а) указать в коде sbatch-скрипта (или иного скрипта, отвечающего за подготовку окружения, в котором выполняется запуск):

export WANDB_MODE=offline

б) или в файле с кодом python

import os
os.environ["WANDB_MODE"]="offline" 

2 шаг

После выполнения шага 1 метрики будут сохраняться локально.
Чтобы синхронизировать их с online-частью сервиса, необходимо:

  1) подключиться к логин-серверу (sms) по ssh

  2) активировать окружение, в котором был произведен запуск задачи использующей сбор метрик

  3) выполнить синхронизацию: 

wandb sync --sync-all

* подробнее о команде wandb sync: https://docs.wandb.ai/ref/cli/wandb-sync