[NVIDIA] NVIDIA Multi-Instance GPU (MIG) 개요 및 가이드

1. MIG 정의 및 개요

NVIDIA의 Multi-Instance GPU (MIG) 기술은 고성능 컴퓨팅 환경에서 GPU 리소스를 효율적으로 분할하여 사용할 수 있도록 하는 혁신적인 기술입니다. 이 블로그에서는 MIG의 개요, 지원되는 GPU, 주요 용어, 및 지원 장치 이름 등을 다루겠습니다.

1.1 MIG 사용의 주요 목적

• 고성능 분할 : 하나의 물리적 GPU를 여러 개의 독립적인 가상 GPU 인스턴스로 분할하여 다양한 워크로드를 병렬로 처리할 수 있습니다. 
• 리소스 최적화 : 필요에 따라 다양한 크기의 인스턴스를 생성하여 자원 사용의 유연성을 제공합니다. 
• 보안성 및 안정성 : 각 인스턴스가 하드웨어 수준에서 격리되어 있어, 하나의 인스턴스에서 발생한 문제가 다른 인스턴스에 영향을 미치지 않습니다. 
• 클라우드 및 데이터센터 활용 : 여러 사용자가 동시에 GPU 자원을 사용해야 하는 환경에서 효율적인 자원 할당과 관리가 가능합니다.

2. 지원되는 GPU

Nvidia 공식 문서에서 추출한 지원되는 GPU 확인

3. 주요 용어

• MIG 인스턴스 : MIG 기술을 사용하여 단일 물리적 GPU를 분할한 독립적인 가상 GPU. 
• Compute Capability : GPU의 연산 성능을 나타내는 지표. CUDA 어플리케이션의 호환성을 결정하는 중요한 요소. 
• Hopper Architecture : NVIDIA의 최신 GPU 아키텍처로, 고성능 컴퓨팅 및 인공지능 작업에 최적화되어 있음. 
• Ampere Architecture : NVIDIA의 이전 세대 GPU 아키텍처로, 다양한 고성능 컴퓨팅 작업에 널리 사용됨.
• SM (Streaming Multiprocessor) : GPU에서 컴퓨팅 명령을 실행하는 기본 단위. 
• GPU Context : 주소 공간, 메모리 할당 등을 포함하여 GPU에서 작업을 실행하는 데 필요한 모든 리소스를 캡슐화한 것. 
• GPU Engine : GPU에서 작업을 실행하는 요소 (DMA, NVDEC 등).
• GPU Memory Slice : 해당 메모리 컨트롤러와 캐시를 포함하여 GPU 메모리의 가장 작은 부분. 전체 GPU 메모리 리소스의 약 8분의 1. 
• GPU SM Slice : GPU에서 가장 작은 연산 단위로, 단일 GPU 메모리 슬라이스와 단일 GPU SM 슬라이스를 결합한 것. 전체 SM 수의 약 1/7을 차지. 
• GPU Slice : 단일 GPU 메모리 슬라이스와 단일 GPU SM 슬라이스를 결합한 GPU의 가장 작은 부분. 
• GI (GPU Instance) : GPU Slice와 GPU Engine의 조합. GI 내의 모든 것은 항상 모든 GPU 메모리 슬라이스와 다른 GPU 엔진을 공유하지만, SM Slice는 CI (Compute Instance)로 세분화될 수 있음. 
• CI (Compute Instance) : GI 내에서 더욱 세분화된 컴퓨팅 인스턴스. 여러 CI가 상위 GPU 인스턴스의 SM Slice 및 GPU 엔진의 하위 집합을 공유.

4. 장치 이름

기본적으로 MIG 장치는 단일 GI와 CI로 구성