디에스앤지

고객의 미래가 디에스앤지의 미래입니다.

공지사항

[슈퍼마이크로] A.I.의 경계를 넓히다, 8x PASCAL GPU 서버 4028GR-TXR!!

작성일 : 2017.04.13 조회수 : 6661

안녕하세요, 디에스앤지입니다:)

오늘은 A.I.(인공지능)에 최적화된 시스템 소식을 가져왔습니다.

작년 한 해는 A.I. (인공지능)가 전세계를 뜨겁게 달군 한 해였습니다. 알파고와 이세돌의 대국과, 해외 및 국내 기업들이 앞다투어 내놓는 인공지능 음성인식 서비스, 각 유통 업계에서 선보이는 쇼핑 도우미 등 인공지능 상용화의 초석이 다져졌습니다.

이 같은 A.I.의 핵심 기술인 Deep Learning은 뉴럴 네트워크 (Neural Network)를 기반으로 하는데 그 동안은 하드웨어 적 한계로 A.I. 연구가 활발하게 진행되지는 못했습니다. 하지만 최근, CPU, GPU, RAM을 비롯한 하드웨어의 비약적 발전으로 인해 A.I.는 전성기를 맞고 있습니다.

​

<▲ Artificial Intelligence (인공지능)>



A.I.(인공지능)이 화두로 떠오르며 Deep Learning 기술과 함께 부각되는 것이 바로 빅데이터와 IoT 산업입니다.

​실제로 컴퓨터가 뉴럴 네트워크를 기반으로 자가 학습하는 기술로 기계학습의 일종인 Deep Learning에서는 학습을 위한 방대한 데이터와 그 처리가 중요합니다. 즉, IoT를 통한 센서 데이터의 수집과 빅데이터를 통한 방대한 데이터의 분류 및 처리 그리고 이렇게 처리된 데이터의 Deep Learning을 통한 학습이 하나로 연결되어 향상된 A.I.를 탄생시킵니다.

​이 같이 고도화된 주변 기술의 영향으로 데이터 수집과 데이터 처리에 걸림돌이 사라지며 A.I.는 올해 그 어떤 분야보다 주목 받을 것으로 예상됩니다.

 

작년 11월에 이와 같은 추세를 반영해 슈퍼마이크로의 PASCAL GPU(SXM2 타입)를 지원하는 GPU 시스템 1028GQ-TXR을 소개해 드렸었습니다. * SXM2 타입은 GPU-GPU를 80GB/s의 속도로 통신할 수 있게 해주어 GPU 성능을 극대화하는 NVLink를 지원합니다. *

1028GQ-TXR이 1U에 4x PASCAL GPU를 지원했다면, 슈퍼마이크로에서 올 초 그 두 배인 8개의 PASCAL GPU를 지원하는 서버 4028GR-TXR이 출시됐습니다. *해당 시스템은 SXM2 타입을 지원합니다.*


<▲ SYS-4028GR-TXR(T)>

*Source: Supermicro Reseller Site

 

 

 

보다 효율적인 A.I.(인공지능) 연구

​4028GR-TXR 모델은 듀얼 CPU 당 8개 PASCAL GPU(P100 SXM2)를 지원하여 CPU 하나 당 지원 가능한 GPU를 최대화 하였으며, 이로 인해 4개 GPU를 지원 가능한 이전 모델 대비 더 경제적으로 시스템 운영이 가능합니다. 이 같은 경제적 효율성은 GPU 기반의 클러스터를 구축할 때 더욱 두드러집니다. 클러스터를 구축 시, CPU와 GPU 간 성능 차이도 영향을 미치지만 그 보다는 사용하는 어플리케이션이 둘 중 어떤 부분에 최적화되어 있는지에 따라 그 결과물이 달라집니다. 즉, GPU 클러스터를 구축하려는 경우, CPU 비중은 최소화하고 GPU를 극대화할 수 있는 4028GR-TXR은 보다 효율적인 운용을 가능케 합니다.

또한, 유사한 아키텍처를 보유한 (8x Pascal GPU) 경쟁사 GPU 서버 대비 합리적인 비용으로 구축 가능해, 최신기술 도입으로 인한 경제적 부담을 절감할 수 있습니다. 이 같은 비용 절감은 결국 IT 인프라에 재투자로 이어져 보다 방대한 연구 기회를 확보할 수 있습니다.

 

혁신적인 아키텍처를 통한 효과적 발열 제어​

NVIDIA PASCAL GPU의 두드러지는 특징 중 하나는, 특유의 고성능으로 인한 발열 문제입니다. 이에 대비하기 위해, 슈퍼마이크로는 4028GR-TXR을 설계 시 CPU와 GPU를 별도의 존으로 분리하여 쿨링을 최적화하였습니다. 즉, CPU와 GPU가 서로의 냉각에 간섭되지 않는 구조입니다. 또한, 총 8개의 강력한 팬으로 GPU를 쿨링 시킵니다.

 
     
<▲ 4028GR-TXR_CPU>                                                  <▲ 4028GR-TXR_GPU>

*Source: Supermicro Reseller Site

 

게다가, GPU 슬롯 역시 경쟁사의 유사 시스템과 달리 지그재그로 배치되어 공기 흐름을 원활하게 함과 동시에 냉각 효율을 극대화 했습니다.



<▲ GPU 슬롯 배열에 따른 공기흐름>

 

이전 세대 GPU 시스템은 따라올 수 없는 성능

4028GR-TXR은 8개의 PASCAL GPU를 모두 장착했을 시 성능이 무려 170 TFLOPS로 A.I.(인공지능)를 연구하는 기업 및 연구소에서 출시 전부터 많은 문의가 들어왔습니다. 특히, 해당 시스템에 장착되는 NVIDIA P100의 경우, GTC 2015에서 발표한 Maxwell GPU에 비해 1년만에 속도를 12배 향상시켰습니다. GTC 2016에서 발표한 자료에 따르면 8개의 Pascal GPU로 1일 당 13.3억 이미지를 처리할 수 있다고 합니다.

 


<▲ Pascal GPU와 Maxwell GPU의 성능 비교>

*Source: NVIDIA GTC 2016 Keynote

다음으로, PASCAL 아키텍처는 80GB/s의 대역폭, 즉, PCI-E 3.0 대비 5배 이상 빠른 인터커넥트 기술인 NVLink를 지원합니다. 이 같은 NVLink는 GPU-GPU 구간에 적용되어 GPU 간 직접 통신이 가능하며, 이전에는 CPU를 거치면서 발생했던 병목현상을 해소시켰습니다. (심지어는, GPU 서버에 따라 GPU 간 데이터 전송 시 CPU BUS를 거쳐야 하는 경우도 있었습니다.) 이를 통해, 4028GR-TXR의 경우 170 TFLOPS라는 고성능 컴퓨팅이 가능해졌습니다.

또한, 4028GR-TXR은 큐브 메쉬(Cube Mesh) 구조로 모두 8개의 GPU 들이 최소한의 루트를 통해 서로 통신할 수 있습니다. 이 같이 GPU 간 통신 시 거쳐야 하는 구간이 최소화되면 결과적으론 컴퓨팅 성능의 극대화를 이룰 수 있습니다.

​


<▲ 4028GR-TXR의 Cube Mesh 아키텍처>

*Source: Supermicro

마지막으로, GPU Direct RDMA(Remote Direct Memory Access) 패브릭이 적용되어 PCI-E Switch와 NIC를 직접 연결하여, 타 서버에 장착된 다른 GPU와도 직접 커뮤니케이션이 가능합니다. 이는, 즉, CPU에 의존하지 않고 GPU 메모리 간 직접 데이터 엑세스 및 전송을 지원해 성능을 높이고 가장 낮은 레이턴시(지연성)를 제공합니다.

​결과적으로, Rack에 장착된 다수의 GPU로 Scale-out 할 수 있어 컴퓨팅 능력을 얼마든지 확장 가능한데, 기계가 스스로 학습해 스스로 인지하고 의사결정 할 수 있게 하는 A.I.(인공지능)을 완성하기 위해서는 방대한 데이터를 수집·분석·처리하고 학습하기 때문에 고성능 컴퓨팅과 확장성 있는 클러스터가 필요합니다.

 

CPU와 GPU 간 NVLink 통신이 가능한 Power8 서버

Intel Xeon 기반 시스템 외에도, 슈퍼마이크로에서는 IBM Power8을 기반으로 한 GPU 시스템(2028G-TR4T)은 NVLink를 통해 CPU-GPU 간 80GB/s의 속도로 통신이 가능합니다. 이를 통해, CPU-GPU 구간의 병목현상을 없앴으며, 이는 Intel x86 시스템에서는 지원되지 않습니다. 해당 시스템을 통해 지원되는 Power8 프로세서는 2.86GHz와 3.25GHz 두 가지로 비교적 높은 클럭을 특징으로 합니다.

 


<▲ Power8 프로세서가 탑재된 슈퍼마이크로 2028G-TR4T>

*Source: Supermicro Reseller Site

 

모든 컴퓨트 구성 요소 간 통신을 NVLink로 하는 2028G-TR4T를 도식화하면 다음과 같습니다. CPU와 GPU가 모두 NVLink로 연결되어 전송 속도를 극대화하였습니다.

<▲ 2028G-TR4T 인터커넥트 구조>

​

슈퍼마이크로 GPU 서버의 우수성, 2016 클러스터 대회 우승

슈퍼마이크로는 북미에서 특히 GPU 서버의 혁신적인 설계와 우수한 성능 그리고 서버와 GPU의 높은 최적화로 인정받고 있습니다.

실제로 지난 해, 미국 Salt Lake City에서 개최된 Supercomputing 2016 (SC’16)의 클러스터 대회 (Cluster Competition) 학생 부문에서 USTC (University of Science and Technology of China) 팀이 슈퍼마이크로의 GPU 시스템을 이용해 LINPACK 점수 기록을 세우며 우승을 차지했습니다. 해당 대회에서 우승팀이 사용한 모델은 SYS-4028GR-TR(T)로 NVIDIA의 Pascal GPU 아키텍처에 최적화된 시스템입니다.


<▲ SC’16 클러스터 대회 우승팀 및 GPU 서버>

*Source: https://www.supermicro.com.tw/newsroom/news/SC16_Cluster_Challenge.cfm

슈퍼마이크로가 이 같은 최상급 GPU 시스템을 선보일 수 있는 이유 중 하나는 메인보드를 거쳐 서버 업계에서의 입지를 다지기까지 키워온 오랜 경험과 기술력 그리고 실험 정신입니다. 또한, Silicon Valley에 위치한 다양한 하드웨어 및 소프트웨어 회사들과의 협업도 그 이유 중 하나입니다. 실제로, 현재 머신러닝·딥러닝 시장을 선점하고 있는 GPU 업체인 NVIDIA 역시 슈퍼마이크로와 긴밀한 협력관계에 있는 기업 중 하나로 지리적으로도 가까이 위치해 있어, 테스트 베드를 제공하는 등 다양한 활동을 하고 있습니다.

​

앞서 언급했듯이 A.I.는 확장성 있는 인프라가 필요하며 이에 ‘병렬컴퓨팅’이 부각되고 있습니다. 실제로 머신러닝 · 딥러닝을 위한 인프라에서는 보다 병렬연산처리에 최적화된 GPU가 많이 활용되고 있습니다. 또한, 최근 어플리케이션이 다양화되는 동시에 GPU 연산성능이 3배 향상되는 등 하드웨어적으로 발전하며 이를 뒷받침할 GPGPU 기술인 CUDA 역시 고도화되고 있습니다. 이에 따라, GPU 클러스터를 사용하고자 하는 비율도 이전보다 더 높아지고 있습니다.

 

디에스앤지에서는 다양한 경험을 기반으로 한 솔루션팀을 통해 GPU 클러스터를 포함한 HPC 클러스터 구축 관련 컨설팅과 실제 구축을 진행하고 있습니다.

감사합니다 :-)

LIST