728x90 H1005 [Docker, NVIDIA] MIG 를 할당한 컨테이너 생성 MIG 활성화하기활성화 전# nvidia-smiFri Oct 18 10:04:07 2024+-----------------------------------------------------------------------------------------+| NVIDIA-SMI 550.54.14 Driver Version: 550.54.14 CUDA Version: 12.4 ||-----------------------------------------+------------------------+----------------------+| GPU Name Persistence-M | Bus-Id Disp.A | Volati.. 2024. 10. 24. [NVIDIA] Cuda Toolkit 설치 # nvidia-smiThu Oct 17 16:23:44 2024+-----------------------------------------------------------------------------------------+| NVIDIA-SMI 550.54.14 Driver Version: 550.54.14 CUDA Version: 12.4 ||-----------------------------------------+------------------------+----------------------+| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC.. 2024. 10. 22. [NVIDIA] MIG(Multi-Instance-GPU) 설정 및 생성 삭제 MIG 설정 순서MIG 활성화GPU Instance(GI) 생성Compute Instance(CI) 생성MIG 활성화 전 확인# nvidia-smiMIG 활성화 /비활성화nvidia-smi -i [활성화할 GPU 번호] -mig [0/1 비활성화 / 활성화]5번 GPU 활성화# nvidia-smi -i 5 -mig 10번 GPU 비활성화# nvidia-smi -i 0 -mig 0활성화 / 비활성화 후 GPU 리셋# nvidia-smi --gpu-reset# nvidia-smiMIG 프로필 확인GPU : 각 GPU 당 7개씩 MIG 나누어진 것 확인Instance Free / Total : GI 생성 가능 개수 확인Memory GIB 유의해서 원하는 만큼 활성화 시키기# nvidia-smi mig -lgi.. 2024. 8. 2. [NVIDIA] MIG 활용시 배포 및 시스템 고려 사항 배포 고려 사항MIG 기능은 NVIDIA GPU 드라이버의 일부로 제공된다.H100 GPU는 CUDA 12/R525 드라이버부터 지원A100 및 A30 GPU는 CUDA 11/R450 드라이버부터 지원시스템 고려사항지원되는 운영체제 : CUDA 에서 지원하는 Linux 운영체제 배포판에서만 지원됨장치 노드 접근 : ./proc시스템 수준 인터페이스 대신, /dev cgroup을 통해 MIG 장치의 액세스 메커니즘을 제어하는 것이 권장됩니다. 이 기능은 450.80.02+ 드라이버부터 사용할 수 있습니다.지원되는 구성컨테이너를 포함한 베어메탈 환경지원되는 하이퍼바이저 위의 Linux 게스트에 대한 GPU 패스스루 가상화지원되는 하이퍼바이저 위의 vGPU지원되는 MIG 프로필A30 MIG 프로필A100 MI.. 2024. 8. 1. 효율적인 GPU 사용을 위한 MIG 기술 소개 GPU 활용의 중요성AI 및 딥러닝 기술의 발전으로 GPU의 수요가 급증하고 있습니다. GPU는 복잡한 연산을 빠르게 처리할 수 있어 AI 모델 학습과 데이터 분석에 필수적입니다. 그러나 고가의 GPU를 효율적으로 사용하는 방법은 여전히 큰 과제입니다.MIG란?MIG(Multi-Instance GPU)는 NVIDIA의 A100 GPU 및 일부 다른 데이터 센터 GPU에서 지원하는 기술로, 단일 GPU를 여러 개의 독립적인 인스턴스로 분할하여 동시에 여러 작업을 처리할 수 있도록 합니다. 이 기술은 특히 고성능 컴퓨팅(HPC), 딥 러닝, 데이터 분석 등 다양한 워크로드를 보다 효율적으로 처리하기 위해 설계되었습니다.주요 특징다중 인스턴스 생성: 단일 GPU를 여러 개의 독립된 인스턴스로 분할하여 각각의 .. 2024. 6. 12. 이전 1 다음 728x90
