KISTI SERVER

KISITI GPU서버 JOB 넣는 방법

(KISTI 유튜브 참고: https://youtu.be/jktumXgIJQw)

ASAP3 COMPILATIONS IN 누리온

1. 필요한 모듈 로드
2. gpu가 비었는지 체크

idle 상태인 것만 바로 job이 실행됨. alloc은 다른 사람이 사용 중

3. job 제출

job.sh 파일은 유튜브 링크에서 참고

qstat으로 job의 상태를 확인 가능.

4. 병렬 GPU 사용

KISTI는 한 노드에 여러가지 GPU가 있기때문에 parallelization 을 해야한다. 아래처럼 implement하면 된다.

if cuda:

   if torch.cuda.device_count() > 1:

       model = nn.DataParallel(model)

   model.cuda()

1. 설치에 필요한 모듈 불러오기

module load intel/18.0.3 openmpi/3.1.0 python/3.7 (or use your own python)

2. git을 이용해서 누리온으로 asap 설치파일 이동

(*누리온에는 git이 없기 때문에 외부에서 받아온 후 누리온으로 옮겨야 함.)

git clone https://gitlab.com/asap/asap.git

3. 설치

cd asap

python setup.py install –user

설치가 끝난 후 ~/asap/build/lib.linux-x86_64-3.7 을 PYTHONPATH에 연결

누리온 ASE TIP

ASE로 vasp 돌릴 경우, 개인이 인스톨한 anaconda 버전으로 하면 속도가 느림.

module load python/3.7 을 사용해야함.

누리온에 GPAW 설치

1. connect ASE to VASP

First, download the PAW dataset via vasp forum.

The PAW dataset directory should be located as follows:

[location]

LDA: $VASP_PP_PATH/potpaw/

PBE: $VASP_PP_PATH/potpaw_PBE/

PW91: $VASP_PP_PATH/potpaw_GGA/

Load the module and set environment variables in the job script as in the following example:

[example: job script for running ase-vasp]

#!/bin/sh

#PBS -N ase-vasp_test

#PBS -V

#PBS -l select=1:ncpus=68:mpiprocs=64:ompthreads=1

#PBS -q normal

#PBS -l walltime=12:00:00

#PBS -A vasp

module purge

module load intel/18.0.3 impi/18.0.3 python/3.7

export PYTHONPATH={ase directory}:$PYTHONPATH

export PATH={ase directory}/bin:$PATH

export ASE_VASP_COMMAND=”mpirun {VASP directory}/bin/vasp_std”

export VASP_PP_PATH={Path one level higher than PAW dataset directory}

python test.py

——————–

[example: test.py]

from ase.build import molecule

atoms = molecule(‘N2’)

atoms.center(vacuum=5)

from ase.calculators.vasp import Vasp2

calc = Vasp2(xc=’pbe’, # Select exchange-correlation functional

encut=400, # Plane-wave cutoff

kpts=(1, 1, 1)) # k-points

atoms.calc = calc

en = atoms.get_potential_energy() # This call will start the calculation

print(‘Potential energy: {:.2f} eV’.format(en))

2. Installing GPAW

$ module purge

$ module load python/3.7

$ conda create -n gpaw

$ source activate gpaw

$ conda install click libffi -c defaults

$ conda install -c conda-forge openmpi=3.1.4 gpaw=19.8.1=py37_openmpi_0

$ gpaw install-data ~/.conda/envs/gpaw/gpaw_db

$ which gpaw

~/.conda/envs/gpaw/bin/gpaw

$ python

>>> import gpaw

>>> gpaw.__version__

‘19.8.1’