srun에 --x11 옵션을 붙이시기 바랍니다.

예) srun -p base_suma_rtx3090 --gres=gpu:1 --x11 --pty bash

1. 본인의 quota가 full인지 확인하기

>>du -h -d 1 ./

2. 본인의 quota가 다 차지 않는 경우 에러가 발생한 node에서 df -hT 확인해보기

 tmpfs가 full 인 경우 에러가 발생한 node의 /tmp내의 본인 파일 삭제하기 (특히 /tmp/.cache 삭제)

 conda env에서 huggingface의 default save dir이 /tmp/.cache로 지정된 경우 폴더 위치 변경하기

* git과 singularity는 module 방식에서 OS 내부 설치로 변경되었음

* cuda 11.6이하는 OS에서 미지원함

7.1~2일 서버 OS upgrade 작업 이후에 VSCODE가 안되는 경우

C:\Users\{컴퓨터 user 명}\.ssh\known_hosts 파일 제거하신 후에 

재실행해보시기 바랍니다. (에러메시지에 있는 경로 확인해주세요)

바로 연결되는 경우도 있고 경우에 따라서는 여러번 시도후 되기도 합니다.

부하가 적은 login server를 알고 싶은 경우

임의의 login server에 접속 후 다음 명령어를 입력하세요.

>>for I in $(seq -w 1 6);do  echo $I;ssh login$I uptime; done

uptime output은 다음과 같습니다

현재시간, 부팅 이후의 지속시간, 현재 접속중인 사용자 수, cpu 부하율(각 1분, 5분, 15분 평균)

PyTorch 프레임워크 DDP 기법을 사용하며, 통신 백엔드로 NCCL을 사용하실 때에는

“NCCL_P2P_DISABLE=1“  환경변수를 추가해주시기 바랍니다.

실행 예

>> NCCL_P2P_DISABLE=1 torchrun --nnodes=1 --nproc_per_node=4 ddp.py

참고링크

https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/env.html 

RTX4090과 A6000이 장착된 시스템의 경우 NCCL 이 자동으로 P2P 통신을 시도하여

학습이 정지되는 Hang 현상이 발생하는 것으로 판단됩니다.  

추가적으로 RTX3090 이 장착된 시스템에서 해당 옵션 없이 학습이 되었던 이유는

NCCL라이브러리가P2P를 통신이 비활성화 되어 있는 것을 확인하고,

자동으로 SHM 방식으로 통신을 하였던 것으로 보여집니다.

mobaxterm으로 ssh 접속했을 때 다음과 같은 에러가 납니다

/etc/ssh_config line 1: Missing argument.

/etc/ssh_config: terminating, 1 bad configuration options

--------------------------------------------------------

윈도우에서 생성된 계정이 한글일 때 발생하는 

mobaxterm 의 버그 입니다. 

 

Q: gcc -v 로 확인하면 5.4 버전으로 확인되는데 

더 높은 버전이 필요해요

A: 아래와 같이 module 명령으로 gcc version 을 변경할 수 있습니다. 

다음 argument를 사용하여 원하는 개수의 thread할당을 요청할 수 있습니다.

--cpus-per-task=cpu(thread)개수

module로 여러 버전을 제공하고 있습니다.

- 현재  loading된 CUDA버전을 확인하고 싶은 경우:

> module list 

- 사용가능한 CUDA 버전을 확인하고 싶은 경우:

> module av

- 현재 loading된 CUDA버전이 11.2일 때 11.6으로 변경하고 싶은 경우:

> module swap CUDA/11.2 CUDA/11.6

원하는 CUDA버전이 없는 경우 관리자에게 이메일 보내주세요.(ai.datacenter@yonsei.ac.kr)

참고로 각 노드에서 nvidia-smi를 입력했을 때 나오는 CUDA 버전은 설치와 관련없는 CUDA version입니다.

해당 드라이버를 설치했을 때의 최신 CUDA version입니다.

GPU node의 경우 2가지 partition이 있습니다

AI 연구하는 학생들의 편의를 위해 독점을 허용하는 big partition(gpu 50장까지 허용- 변동 가능)과 공평하게 자원을 나누어쓸 수 있는 base partition이 있습니다.

그런데 base partition은 인당 4장의 gpu를 허용하다보니 유휴자원이 생겨도 4장 이상 필요한 사람들은 못쓰게 되어 사용자가 적은 경우 GPU사용률이 저조하게 됩니다.

하여 job의 QoS를 나누어서 base_q는 gpu 4장씩 허용하고 big_q는 gpu 50장 사용(변동 가능)이 가능합니다.

하지만 base_q의 우선순위를 높게 하여 big_q job이 여러개 돌고 있을 때 base_q job이 대기하는 경우 대기 시점에서 3시간 후에 preemption 될 수 있도록 해놓았습니다.

preemption되면서 아래와 같은 형태의 메시지가 발생합니다.

slurmstepd: error: *** JOB 355071 ON node14 CANCELLED AT 2023-05-22T04:22:49 DUE TO PREEMPTION ***

job을 여러개 돌리면서 preemption되지 않길 원하는 경우 big partition의 노드를 배정받아야 합니다.

이에 대해 좀 더 자세히 설명한 부분은 아래 페이지를 참고하시기 바랍니다.

https://computing.yonsei.ac.kr/bbs/board.php?bo_table=sub6_2_c

"공평"과 "자원활용의 최대화"를 만족시킬 수 있는 좋은 의견있으시면 언제든 알려주세요.

anaconda를 설치한 후 srun은 그냥 바로 사용하실 수 있고

sbatch는 script 파일안에 source .bashrc부분을 추가하면 됩니다.

- srun 수행

- source .bashrc를 추가하지 않았을 때의 에러

- source .bashrc를 추가한 경우 에러 없이 수행됨

1. 에러메시지 중 disk quota exceeded관련 메시지가 있는지 확인하기

(예: 987c0d5c3df5c45f6b15e77d1': Disk quota exceeded)

quota exceed인 경우 디스크 용량이 부족하므로 ssh등으로 접속하여 필요없는 파일들 지우고 해보기

2. 에러를 못 찾을 경우

본인 사용량 확인 방법 (아래 ID에 본인 아이디를 넣으세요)

>> xfs_quota -x -c 'report -h -u' /home | grep ID

90G이상인 경우에도 디스크 용량이 부족할 수 있으므로 ssh등으로 접속하여 필요없는 파일들 지우고 해보기

3. rm -rf ~/.vscode-server

실행한 후 다시 해보기

singularity  옵션에  "-B /datasets"  을  포함하면 접근이 가능 합니다.