728x90 slurm11 MPI 작업 시 효율/성능 분석: SMP, DMP, Slurm 연관 및 프로세스 배치 전략 개요고성능 컴퓨팅(HPC) 환경에서 병렬 처리는 필수 요소이며, 특히 MPI(Message Passing Interface)를 활용한 병렬 작업은 대규모 연산 처리에 핵심적입니다. 이 글에서는 MPI 병렬 처리 시 사용하는 메모리 모델(SMP와 DMP)과 Slurm 스케줄러의 프로세스 배치 방식(Round-Robin vs Fill-Up)에 대해 HPC 전문가 관점에서 자세히 정리하겠습니다.1.Serial,SMP와 DMP란 무엇인가?🔹Serial (직렬 처리)정의 : 프로그램이 단일 프로세스, 단일 스레드로 순차적으로 실행되는 방식특징 :개발이 간단하고 직관적디버깅이 쉬움CPU 한개만 사용하므로 다중 코어/노드의 이점을 살릴 수 없음🔹 SMP (Symmetric Multiprocessing)정의 : 단.. 2025. 4. 23. [Slurm] slurm.conf에서 SelectTypeParameters와 하이퍼 스레딩의 연관성 개요HPC(고성능 컴퓨팅) 환경에서는 자원을 효율적으로 관리하고 작업을 스케줄링하는 것이 매우 중요합니다. SLURM(Simplified Linux Utility for Resource Management)은 이러한 작업을 관리하기 위한 강력한 도구로, SelectType과 SelectTypeParameters는 SLURM 설정에서 자원 할당 방식을 정의하는 핵심적인 역할을 합니다.이번 글에서는 하이퍼 스레딩(Hyper-Threading, HT)과 SelectTypeParameters의 관계를 중심으로 SLURM 설정을 살펴보겠습니다. 1. 하이퍼 스레딩(Hyper-Threading, HT)이란?하이퍼 스레딩은 하나의 물리적 코어(Physical Core)가 두 개 이상의 논리적 코어(Logical Co.. 2025. 2. 2. [HPC] CPU 성능 분석 개요HPC(고성능 컴퓨팅) 환경에서 CPU는 시스템 성능을 좌우하는 핵심 요소입니다. 모든 연산과 데이터 처리가 CPU를 통해 이루어지기 때문에, CPU 성능을 이해하고 최적화하는 것은 HPC 엔지니어에게 필수적인 역량입니다. 이 글에서는 CPU 성능 분석의 주요 개념과 기법을 정리하며, 이를 HPC 환경에 적용할 수 있는 방향을 제시합니다. 1. CPU 성능 분석의 중요성CPU는 소프트웨어와 하드웨어 간의 인터페이스 역할을 하며, 모든 프로세스 실행을 담당합니다. 특히, HPC 환경에서는 다수의 프로세스와 스레드가 병렬로 실행되므로 CPU 성능이 병목 현상을 방지하는 데 중요한 역할을 합니다.CPU 성능 분석 시 주요 초점은 다음과 같습니다:클럭 속도: 명령어 실행 속도를 결정.프로세스 기술: CPU의.. 2025. 1. 24. [HPC] 하이퍼스레딩(Hyper-Threading) & Slurm 관계 1. 하이퍼 스레딩(Hyper-Threading)1.1 정의하이퍼스레딩은 Intel에서 제공하는 CPU 기술로, 하나의 물리적 코어가 두 개의 논리적 코어처럼 작동하도록 만든다.이를 통해 단일 코어에서 더 많은 쓰레드를 처리하여 CPU 자원을 보다 효율적으로 사용할 수 있다.1.2 작동 원리각 물리적 코어가 두 개의 하드웨어 스레드(Hardware Thread)를 관리한다.스레드 간에 사용하지 않는 CPU 자원을 공유하여 작업 병렬 처리를 개선특정 워크로드에서 성능이 향상되지만, 메모리 대역폭 또는 캐시 충돌이 심한 작업에서는 효과가 미미하거나 성능 저하가 발생할 수도 있음1.3 장.단점장점 : IO 바운드 또는 멀티 스레드 작업에서 CPU 사용률을 극대화단점 : CPU 리소스가 스레드 간 공유되므로 과.. 2025. 1. 22. [Slurm]Slurm 환경에서 Abaqus 작업 프로세스가 잔존하는 문제 해결 문제 상황1. Job Kill 후 프로세스 잔존Slurm 스케줄러를 사용해 Abaqus 작업을 수행하던 중, 작업이 Kill 되더라도 관련 프로세스가 남아 있는 문제가 발생했습니다. 이로 인해 시스템 자원이 낭비되고, Abaqus 라이선스가 반환되지 않는 상황이 발생했습니다.2. Abaqus Standard 프로세스 종료 문제일부 경우에서 작업이 정상적으로 종료되었음에도 불구하고, Abaqus Standard 프로세스(standard.exe)가 종료되지 않아 추가적인 문제가 발생했습니다. 해결 접근 방식(trap & Signal 활용)1. Signal 처리(SIGTERM)작업 종료 시 cleanup 함수를 호출하여 잔여 프로세스와 관련된 라이선스를 강제로 정리하도록 설정했습니다.2. 프로세스 추적 및 강.. 2024. 12. 23. [HPC]Singularity 개요Singularity는 HPC(High-Performance Computing) 환경에 특화된 컨테이너 솔루션으로, 과학 연구 및 데이터 집약적인 작업을 위해 설계되었습니다. Docker와 유사하게 컨테이너 기술을 기반으로 하지만, HPC 환경의 요구 사항을 충족하도록 최적화되었습니다. 주요 특징1. 보안 중심 설계 Singularity는 루트 권한 없이 컨테이너 실행이 가능합니다.일반 사용자가 컨테이너를 실행하더라도 호스트 시스템의 보안을 유지합니다.컨테이너 내부의 프로세스는 사용자의 권한으로 실행되며, 이는 HPC 클러스터와 같은 멀티유저 환경에서 매우 중요합니다. 2. HPC 환경 통합 Singularity는 MPI(Message Passing Interface), InfiniBand 등과 같.. 2024. 11. 25. 이전 1 2 다음 728x90
