디에스앤지

고객의 미래가 디에스앤지의 미래입니다.

공지사항

다가오는 인공지능 시대, 딥 러닝(Deep Learning)을 위한 슈퍼마이크로 PASCAL(파스칼) GPU 서버

작성일 : 2016.11.11 조회수 : 4549

올 초 NVIDIA에서 야심차게 준비한 PASCAL GPU가 공개되었습니다.

이에 맞춰 슈퍼마이크로에서도 PASCAL 기반 Tesla P100에 최적화된 GPU 서버를 출시하였습니다. NVIDIA는 Tesla P100을 기존의 PCI-E 타입과 GPU 전용 소켓에 직접 장착하는 Access 타입 2가지로 선보였습니다.

 

 

 

1) NVIDIA PASCAL GPU 로드맵 및 성능 비교


Tesla 계열에서 2014년 Maxwell 아키텍처를 출시했던 NVIDIA는 올해 Pascal 아키텍처를 새로이 도입했습니다.

Tesla 계열은 Stream Processing과 GPGPU를 타깃으로 한 NVIDIA의 최고 라인업 GPU로, 높은 연산 능력(FLOPS 단위)을 바탕으로 HPC에서 주로 사용됩니다. 아래 로드맵에서 확인할 수 있듯이 NVIDIA에 따르면 Pascal 아키텍처는 특히 Deep Learning 솔루션을 타겟으로 하며, 이전 세대 대비 대폭 향상된 성능을 확인하실 수 있습니다. Deep Learning은 컴퓨터가 뉴럴 네트워크 (Neural Network)를 기반으로 자가 학습하는 기술로 기계학습의 일종이며, 이 분야의 발전이 Pascal 아키텍처 변화의 계기가 되었다고 합니다. 

 

<▲ NVIDIA GPU ROADMAP>

*Source: NVIDIA Presentation at the GPU Technology Conference 

 

 

 

 

Tesla K40

Tesla M40

Tesla P100

(PCIe)

Tesla P100

(NVLink)

GPU

GK110 (Kepler)

GM200 (Maxwell)

GP100 (Pascal)

GP100 (Pascal)

SMs

15

24

56

56

TPCs

15

24

28

28

FP32 CUDA Cores / SM

192

128

64

64

FP32 CUDA Cores / GPU

2880

3072

3584

3584

FP64 CUDA Cores / SM

64

4

32

32

FP64 CUDA Cores / GPU

960

96

1792

1792

Base Clock

745 MHz

948 MHz

1126 MHz

1328 MHz

GPU Boost Clock

810/875 MHz

1114 MHz

1303 MHz

1480 MHz

Peak FP32 GFLOPs [1]

5040

6840

9340

10600

Peak FP64 GFLOPs [1]

1680

210

4670

5300

Texture Units

240

192

224

224

Memory Interface

384-bit GDDR5

384-bit GDDR5

3072-bit HBM2 (12GB)

4096-bit HBM2 (16GB)

4096-bit HBM2

Memory Size

Up to 12 GB

Up to 24 GB

12GB or 16GB

16GB

L2 Cache Size

1356 KB

3072 KB

4096 KB

4096 KB

Register File Size / SM

256 KB

256 KB

256 KB

256 KB

Register File Size / GPU

3840 KB

6144 KB

14336 KB

14336 KB

TDP

235 Watts

250 Watts

250 Watts

300 Watts

Transistors

7.1 billion

8 billion

15.3 billion

15.3 billion

GPU Die Size

551 nm2

601 nm2

610 nm2

610 nm2

Manufacturing Process

28-nm

28-nm

16-nm FinFET

16-nm FinFET


[1] 본 표의 GFLOPS는 GPU Boost Clocks에 기반합니다.


 <▲ NVIDIA GPU 세대 별 비교 표>

*Source: NVIDIA Tesla P100 Whitepaper

 

 

 

 

Pascal 아키텍처를 대표하는 키워드는 Mixed Precision (혼합정밀도), 3D Memory, NVLink 입니다.

 

1. 혼합 정밀 컴퓨팅은 16비트 부동소수점 정확성으로 연산하는 것을 가능하게 하는데, 이는 32비트 부동소수점에 비해 2배의 속도를 자랑합니다. 즉, FP32 단정밀도 연산 유닛 하나로 FP16 반정밀도 연산을 2배 빠르게 처리하는 것을 의미합니다. 이를 통해, 부동소수점 성능 증가와 함께 정밀한 컴퓨팅을 제공하여, Deep Learning에서 가장 중요한 분류 및 결과 도출에 도움을 줍니다. 

 

2. Pascal 아키텍처에 적용된 3D 메모리는 메모리 대역폭(Memory Bandwidth)을 크게 향상 시켜 더 효율적인 연산을 가능하게 합니다. HBM2(고대역폭 메모리) 3D 메모리는 혁신적인 CoWoS 구조로 Maxwell 대비 약 4배 높은 대역폭과 4배 높은 전력 효율을 제공합니다. 또한, 프레임 버퍼에 있어서도 3배 가까이 향상되어 보다 큰 Neural Network 구축이 가능하며, Deep Learning 훈련에서도 대역폭을 가속화할 수 있습니다.

특히, HBM2 메모리를 GPU와 동일한 물리적 패키지 상에 쌓아 bit가 메모리와 GPU를 거쳐 다시 돌아오는 과정과 거리를 인치에서 밀리미터 단위로 단축 시켰습니다. 

 

<▲ 3D 메모리 이미지 및 메모리 대역폭>
*Source: NVIDIA Presentation at the GPU Technology Conference





<▲ GP100 GPU와 HBM2 stack의 횡단면 현미경 사진 및 도면>
*Source: NVIDIA Tesla P100 Whitepaper



3. NVLink는 GPU 가속 컴퓨팅을 위한 초고속 interconnect 기술로 GPU 간 직접 커뮤니케이션을 가능하게 합니다. 이는 기존 PCI-E Gen.3 x16 대비 5배 빠른 속도를 자랑하여, Deep Learning과 같이 높은 GPU 커뮤니케이션을 요구하는 애플리케이션 구동 시 유리할 것입니다.

 

​





<▲ NVLink를 통한 4개 GPU 연결(좌) / NVLink를 통한 2개 GPU 및 CPU 연결: 양방향 대역폭 80GB/s(우)>

*Source: NVIDIA Tesla P100 Whitepaper






<▲ NVIDIA P100의 5가지 혁신>

*Source: NVIDIA Presentation at the GPU Technology Conference

 

 

 

NVIDIA는 P100을 통해 위와 같은 주요 혁신을 이루어 냈다고 소개했습니다. 특히, HBM2 고대역폭 메모리와 GPU 커뮤니케이션을 위한 NVLink 그리고 새로운 AI 알고리즘은 무엇보다도 Deep Learning 분야를 타깃으로 설계되었다는 점을 여실히 보여줍니다.

 

 

 

 

Deep Learning이란?​

Deep Learning을 비롯한 기계학습은 현재 인공지능 기술로서 가장 인기 있는 분야 입니다. 일례로 미국 S대학 데이터 센터에 설치된 슈퍼마이크로 GPU 서버의 90%는 기계학습을 위해 구축되었다고 합니다.

Deep Learning은 수많은 데이터 속에서 패턴을 발견하여 객체를 분별하기 때문에 데이터의 분류가 중요합니다. 아래는 Deep Learning을 통해 자동차 이미지를 인식하는 방법을 학습한 후 최종적으로 해당 차의 모델이 "Audi A7"임을 도출하는 과정입니다. 이 복잡한 Multi-layer Neural Network(다중 신경망)은 다수의 상호 연결된 복잡한 Perceptron(퍼셉트론)과 같은 노드로 구성되며, 각각의 노드는 입력 값의 여러 가지 특징을 인식한 후 이를 바탕으로 한 출력 값을 다음 레벨의 layer에 전달합니다. 이를 통해, 초기에는 이미지를 여러 섹션으로 나누어 선이나 각도 정도의 기본적인 패턴을 파악합니다. 다음으로 이러한 선들을 조합해 바퀴, 전면 유리, 사이드 미러 등의 한 단계 높은 수준의 패턴을 파악합니다. 이후 어떤 유형의 자동차인지 파악하고, 몇몇의 최종 layer가 특정 브랜드의 모델을 인식하게 됩니다.




<▲ 3D 메모리 이미지 및 메모리 대역폭>

*Source: NVIDIA Tesla P100 Whitepaper

 

 

 

Deep Learning을 접목하여 개발한 자율 주행 차의 경우, 운전 시 다양한 상황들을 접하면서 이로부터 학습하고 적응하고 또 개선시킬 수 있습니다. 추운 날씨에 내린 비가 얼어붙는다거나, 아이들이 도로로 갑자기 뛰쳐나오거나 혹은 목적지로 가는 도로가 폐쇄되는 등 운전 중에는 예측 불가능한 일들이 너무나도 많이 발생합니다. 그리고 이러한 상황을 소프트웨어에 일일이 입력하기에는 한계가 있기에 훈련을 통한 발전이 가능한 Deep Learning은 자율 주행 차 개발에 있어 환영 받고 있습니다.

헬스 케어와 생명과학 분야에서도 Deep Learning의 최대의 관심사입니다. Deep Genomics는 유전적 변이가 어떻게 질병을 유발하는지 확인하기 위해 GPU 기반 Deep Learning을 적용합니다. Arterys의 경우 의료 영상 분석을 보다 신속하게 하기 위해 Deep Learning을 활용하였습니다.

이외에도 Deep Learning은 AI의 가능성이 주목 받으며 무궁무진한 분야에서 그 활용도가 가속화되고 있습니다.

 


*Source: NVIDIA Youtube Page https://www.youtube.com/watch?v=roCXXvI5wK4

 

 

 

 

 

 

2) 슈퍼마이크로 PASCAL GPU 솔루션


슈퍼마이크로에서는 이 같은 NVIDIA PASCAL GPU를 그 누구보다도 빠르게 도입하여, 총 3가지의 최적화된 모델을 출시하였습니다. PCI-E 타입 P100을 최대 10개까지 지원 가능한 SYS-4028GR-TR(T)2와 Access 타입 P100을 각각 4개, 8개까지 지원 가능한 SYS-1028GQ-TXR(T)와 SYS-4028GR-TXR(T)는 미국 현지뿐만 아니라 국내에서도 벌써 많은 문의를 받고 있습니다. 특히, AI가 전세계적으로 활성화되고 있는 만큼 다수의 기업 및 대학ㆍ연구기관에서 Deep Learning을 위해 관심을 보이고 또 구매하고 있는 추세입니다.

 

 

1. SYS-4028GR-TR(T)2 : PCI-E 타입 (Max. 10x GPU)


기존 4028GR-TR 모델이 GPU 간 커뮤니케이션을 CPU QPI를 통해 가능하게 했다면, 4028GR-TR(T)2 모델은 single root를 통한 Low-Latency를 자랑합니다. 4028GR-TR(T)2가 QPI를 거치지 않고 GPU 간 커뮤니케이션이 가능한 것은 설계적 특징이기 때문에, NVIDIA GTX 시리즈에서도 (Titan 포함) 적용됩니다. 

 

<▲ SYS-4028GR-TR(T)2>

*Source: Supermicro Reseller Site

 

 

 


 


 2. SYS-1028GQ-TXR(T) / SYS-4028GR-TXR(T) : Access 타입 (Max. 4x / 8x GPU)

 

​ 

<▲ SYS-1028GQ-TXR(T)>

*Source: Supermicro Reseller Site 

 

 

 


 

 

Access 타입 PASCAL GPU의 가장 큰 장점 중 하나는 바로 NVLink 기술이며, 이를 통해 GPU 간 직접 커뮤니케이션이 가능합니다. 이는 PCI-E 인터페이스에 비해 훨씬 더 빠른 속도를 제공하며 양방향 기준으로 최대 80GB/s의 전송속도를 자랑합니다.

또한, PCI-E Switch와 NIC를 직접 연결하여, 타 서버에 장착된 다른 GPU와도 커뮤니케이션이 가능합니다. (RDMA-Remote Direct Memory Access-와 유사한 방법) 즉, Rack에 장착된 다수의 GPU로 Scale-out 할 수 있어, 컴퓨팅 능력을 얼마든지 확장 가능합니다.

 

 

 


 

 

 

<▲ SYS-4028GR-TXR(T)>

*Source: Supermicro Reseller Site 

 

 


 

 

 

 

 

3) 빅 데이터와의 협력


앞서 소개한 NVIDIA의 PASCAL GPU와 슈퍼마이크로의 이에 최적화된 서버는 Deep Learning을 이루기 위한 충분한 컴퓨팅 역량을 제공하여 Hardware 적 뒷받침을 이루어 줍니다. 하지만 이러한 Deep Learning은 무엇보다도 데이터가 기반이 되어야 하는 분야이기 때문에 빅 데이터와의 협력이 필연적입니다. 결국 보다 정확한 학습과 적용을 위해서는 방대한 데이터를 처리하고 분석하는 과정이 필요하기 때문입니다.

호튼웍스는 이 같은 빅 데이터를 위한 최고의 Apache Hadoop Solution을 제공합니다. 보관 데이터를 위한 HDP와 실시간 데이터를 위한 HDF가 주요 솔루션이며, Hadoop 배포 기업 중 가장 많은 커미터 수를 보유하여 실질적인 Hadoop의 표준으로 자리잡고 있습니다.

 

다음은 호튼웍스 Connected Data Platform의 구조입니다. 

 





 


 


슈퍼마이크로 Pascal GPU 서버 및 호튼웍스 HDP/HDF 솔루션에 관심 있으신 분은 

고객센터로 연락 주시면 디에스앤지시스템의 하드웨어 및 솔루션 전문가를 통해 상담 가능합니다^^
 

 

LIST