DeePMD-kit

👉Вернуться к списку инструкций

DeePMD-kit – это инструмент для исследования материалов на основе машинного обучения, разработанный исследовательским коллективом в Институте физики высоких температур Китайской академии наук. Этот пакет позволяет применять модели глубокого обучения для атомных систем, включая молекулярную динамику и интерпретацию свойств материалов. DeePMD-kit представляет собой решение, которое объединяет алгоритмы глубокого обучения с классическими методами физического моделирования для достижения высокой точности в предсказании свойств атомных систем.
Официальный сайт: https://docs.deepmodeling.com/projects/deepmd/en/r2/

Доступные версии на суперкомпьютере НИУ ВШЭ

module load deepmd-kit/2.2.10     # DeePMD-kit версии 2.2.10

Тестовые исходные данные расположены на суперкомпьютере в каталоге /opt/software/deepmd-kit/v2/examples/

Пользователи: Лаборатория вычислительной физики, Департамент прикладной математики МИЭМ, любые подразделения НИУ ВШЭ.

Ключевые особенности

• интерфейс с TensorFlow, что делает процесс обучения автоматизированным и эффективным,
• интерфейс с пакетами классической молекулярной динамики и квантовой молекулярной динамики, включая LAMMPS, i-PI, AMBER, CP2K, GROMACS, OpenMM и ABUCUS,
• реализация моделей серии Deep Potential, которые успешно применялись к конечным и расширенным системам, включая органические молекулы, металлы, полупроводники, диэлектрики и т.д.,
• поддержка MPI и GPU, что делает его высокоэффективным для параллельных и распределенных вычислений высокой производительности,
• высокая модульность, что облегчает адаптацию к различным дескрипторам для моделей потенциальной энергии на основе глубокого обучения.

Рис. 1. Вычислительная парадигма, состоящая из молекулярного моделирования, машинного обучения и высокопроизводительных вычислений

Выполнение расчетов на суперкомпьютере

Для выполнения расчёта на суперкомпьютере необходимо подготовить скрипт-файл для очереди задач с запросом требуемых ресурсов (см. общую инструкцию по запуску задач на суперкомпьютере).

Пример запуска на GPU

В качестве примера, выполним моделирование для тестовых данных, представленных в учебном материале.

module load deepmd-kit/2.2.10
cd ~
cp -r /opt/software/deepmd-kit/v2/examples/CH4/ ./

cd CH4/00.data
ls

Содержимое файла convert.py

import dpdata
import numpy as np

data = dpdata.LabeledSystem('OUTCAR', fmt = 'vasp/outcar')
print('# the data contains %d frames' % len(data))

# random choose 40 index for validation_data
index_validation = np.random.choice(200,size=40,replace=False)

# other indexes are training_data
index_training = list(set(range(200))-set(index_validation))
data_training = data.sub_system(index_training)
data_validation = data.sub_system(index_validation)

# all training data put into directory:"training_data"
data_training.to_deepmd_npy('training_data')

# all validation data put into directory:"validation_data"
data_validation.to_deepmd_npy('validation_data')
print('# the training data contains %d frames' % len(data_training))
print('# the validation data contains %d frames' % len(data_validation))

cd ../01.train

#!/bin/bash
#SBATCH --job-name=deepmd-kit-test                 # Название задачи
#SBATCH --time=01:00:00                            # Максимальное время выполнения (1 час)
#SBATCH --error=deepmd-kit-%j.err                  # Файл для вывода ошибок
#SBATCH --output=deepmd-kit-%j.log                 # Файл для вывода результатов
#SBATCH --constraint="type_e|type_a|type_b|type_c" # Предпочитаемые типы вычислительных узлов
#SBATCH --nodes 1                                  # Число используемых узлов
#SBATCH --ntasks 4                                 # Количество MPI процессов = ядер CPU
#SBATCH --gpus 1                                   # Число используемых GPU
#SBATCH --mail-user=ваша_почта                     # Укажите ваш email для отправки уведомлений
#SBATCH --mail-type=END,FAIL                       # События, требующие уведомления

# Деактивация окружения
source deactivate

# Очистка модулей
module purge

# Загрузка модуля DeePMD-kit
module load deepmd-kit/2.2.10

# Переменные среды, изменяющие параметры параллелизма и многопоточности для различных библиотек
# Их значения подбираются экспериментально для каждой конкретной задачи
export OMP_NUM_THREADS=$((SLURM_CPUS_PER_TASK / 2))
export TF_INTRA_OP_PARALLELISM_THREADS=$((SLURM_CPUS_PER_TASK / 2))
export TF_INTER_OP_PARALLELISM_THREADS=$((SLURM_CPUS_PER_TASK / 2))

# Команда запуска
mpirun -l -launcher=fork -hosts=localhost -np $SLURM_GPUS dp train input.json

# Рекомендуемая пропорция ресурсов на cHARISMa: 
# - на узлах типов A, B, C: 1 GPU и 4 ядра CPU,
# - на узлах типа E: 1 GPU и 16 ядер CPU.
# Как можно больше заполняйте память GPU. Отслеживайте загрузку памяти через: https://lk.hpc.hse.ru

Для постановки задачи в очередь необходимо выполнить команду sbatch deepmd-kit.sbatch

Посмотреть состояние своих задач можно с помощью команды mj.
Результат выполнения скрипта будет сохранён в файл deepmd-kit-00000.log (где 00000 - номер задачи в очереди). Сообщения, выводимые в процессе работы DeePMD-kit, будут записаны в файл deepmd-kit-00000.err (где 00000 - номер задачи в очереди).

dp freeze -o graph.pb
dp compress -i graph.pb -o graph-compress.pb

В этих командах после -o указываются имена выходных файлов, а после -i пишется название входного файла.

Тестирование качества модели
DeePMD-kit предоставляет пользователям возможность проверки качества полученной модели. Для этого нужно запустить следующую команду:

dp test -m graph-compress.pb -s ../00.data/validation_data -n 40 -d results

cd ../02.lmp

ln -s ../01.train/graph-compress.pb

ls
# conf.lmp  graph-compress.pb  in.lammps

• conf.lmp содержит начальную конфигурацию для MD симуляции метана в газовой фазе.
• in.lammps является скриптом для запуска LAMMPS. Этот файл является стандартным входным файлом LAMMPS для MD симуляций с двумя исключениями:

pair_style  graph-compress.pb
pair_coeff  * *

cp -r /opt/software/deepmd-kit/v2/examples/methane ~
cd ~/methane

module purge
module load GROMACS/2022.2
gmx_mpi grompp -f md.mdp -c lig_solv.gro -p topol.top -o topol.tpr -maxwarn 5
cp ~/CH4/01.train/graph-compress.pb ./

export GMX_DEEPMD_INPUT_JSON=input.json

{
    "graph_file": "graph-compress.pb",
    "type_file": "type.raw",
    "index_file": "index.raw",
    "lambda": 1.0,
    "pbc": false
}

Дополнительная информация