디에스앤지

고객의 미래가 디에스앤지의 미래입니다.

공지사항

차세대 스토리지의 혁명, 슈퍼마이크로 NVMe 스토리지 & JBOF

작성일 : 2018.03.22 조회수 : 4715

  안녕하세요! 디에스앤지입니다!

 

  최근 IT 분야에서 인공지능이 화두로 떠오르며, 이와 연결되는 빅데이터의 수집과 분석 역시 주요 이슈로 자리잡고 있습니다. IoT 기술 등 수집할 수 있는 데이터의 양이 기하급수적으로 늘어난 것 역시 사용자의 IT 환경에 대한 요구사항이 변하게 된 계기입니다. 여기에 클라우드 시대가 오며 가능한 지체 없이 데이터를 처리하는 실시간성도 요구되고 있어 스토리지에도 새로운 바람이 필요합니다. 이렇듯 대규모 데이터세트의 처리와 까다로운 어플리케이션 운영을 더 신속하게 해 줄 슈퍼마이크로의 NVMe 스토리지와 JBOF(Just a Bunch Of Flash)에 대해 이야기 드리고자 합니다.

 

 

 

[NVMe(Non-Volatile Memory Express) 기술]

 

  우선, NVMe(Non-Volatile Memory Express) 기술에 대해 간략히 소개 드리겠습니다. NVMe는 기존의 SATA 혹은 SAS 대비 훨씬 빠른 비휘발성 저장장치를 위한 새로운 인터페이스 사양입니다. NVMe 제품은 보통 SSD 형태로 출시되는 플래시 메모리로, PCI-Express 카드 타입 및 2.5" 폼팩터의 U.2 타입이 있습니다. 기존의 SATA/SAS HDD 혹은 SATA 인터페이스를 기반으로 한 SSD에 비해, NVMe SSD는 더 향상된 성능과 병목현상(bottlenecks)의 감소를 제공하기 때문에 점차 거대화되는 최근 데이터센터에 적합합니다. NVMe SSD가 지닌 저전력과 높은 보안성 역시 데이터센터에 들어맞는 특징입니다. Intel에 따르면, NVMe SSD는 4KB Random 워크로드에서 SATA/SAS 대비 4배 이상의 성능을 제공한다고 합니다. 이외에도 1 레인 당 1GB/s, 드라이브 당 1-16 레인이 CPU에 직접 연결되어, 우수한 대역폭을 확보하는 동시에 HBA 비용과 오버헤드를 제거할 수 있습니다. 

 

 

▲ NVMe SSD와 SATA/SAS HDD 성능 비교
(출처: https://www.supermicro.com.tw/products/nfo/files/NVMe/f_Supermicro_Virtualization_NVMe.pdf)

 

​

  특히, 슈퍼마이크로는 글로벌 NVMe SSD 개발 기업 중 하나인 인텔과의 긴밀한 협력을 통해 업계에서 가장 다양한 NVMe 서버 (U.2 규격) 포트폴리오를 보유하고 있습니다. 슈퍼마이크로의 NVMe 솔루션을 기반으로 한 최신 시스템들은 NVMe의 극한의 성능을 이끌어내는 동시에, 내구성 및 효율성을 끌어올리는 데 집중되어 있습니다. 또한, 고효율 에너지 정책을 바탕으로 한 그린 컴퓨팅 혁신과 저전력 NVMe SSD를 결합해 경제성도 살릴 수 있습니다.

 

 

 

[슈퍼마이크로 All-Flash NVMe 스토리지 & JBOF]

 

  슈퍼마이크로는 2017년 하반기 NVMe 기반의 All-Flash 1U 스토리지 서버와 JBOF(Just a Bunch Of Flash)를 새롭게 선보였습니다. All-Flash NVMe 스토리지 1종과 JBOF 2종 총 3가지 모델이 출시되었는데, 이들은 모두 1U 랙 폼 팩터에 32개의 핫스왑 NVMe SSD를 지원하여 최대 1PB까지(가까운 시일 내 예정)의 대용량 저장 공간을 제공하며 집적도가 최적화된 스토리지 시스템입니다. 특히, NVMe 기반의 All-Flash 스토리지는 고성능컴퓨팅(HPC)을 위해 가능한 최저의 레이턴시(low-latency)를 구현하고 데이터 스토리지에 더 빠른 CPU를 적용하기 위해 개발되었습니다. 이처럼 100% NVMe 기반의 All-Flash 스토리지는 기존의 1개 채널 직렬 방식인 SATA 혹은 SAS 아키텍처와는 달리, SSD나 플래시 등 최신 기술을 차용해도 병목현상이 발생하지 않는다는 장점이 있습니다. IoT 등의 기술 발전과 함께 수집되는 데이터의 양이 급격히 증가하며, 데이터 분석 및 인공지능에 있어 실시간성이 강조됨에 따라 병목현상의 방지와 저지연성 확보는 주요한 문제입니다. All-Flash NVMe 스토리지는 이러한 문제를 해결해 줄 열쇠입니다.

  해당 NVMe 스토리지와 JBOF에는 최대 12대의 호스트를 직접 연결할 수 있어 높은 확장성을 자랑합니다. NVMe 스토리지의 대역폭을 극대화시킬 수 있는 네트워킹 패브릭 기술인 NVMe-oF(NVMe over Fabric) 솔루션을 적용할 경우, 1U 고성능 NVMe 스토리지와 수백 대의 호스트를 이더넷, 인피니밴드 혹은 옴니패스와 같은 패브릭을 통해 고성능 NVMe 스토리지 풀에 연결할 수 있습니다. 이렇듯 All-Flash NVMe 스토리지와 JBOF를 적절히 연결하여 사용한다면 컴퓨팅 리소스는 추가하지 않으면서도 스토리지 리소스를 최대한 활용할 수 있어 데이터센터의 TCO(총 소유비용)을 절약할 수 있습니다. 

 

 

▲ All-Flash NVMe JBOF에 12대의 호스트를 연결하는 구성도

 

  새로운 슈퍼마이크로 All-Flash NVMe 스토리지와 JBOF는 자료를 공유 풀(pool)로 분산 저장하며, 자율주행, 이상금융거래(financial fraud) 실시간 탐지 등 까다로운 빅데이터 분석 어플리케이션에 사용할 수 있는 최고의 하드웨어 인프라로 급속히 자리잡고 있습니다. 이전 세대의 1U All-Flash 스토리지 대비 집적도를 3배 이상 늘려, NVMe 기술에 있어서 시장 선도적인 위치를 굳건히 하였습니다.

 

 

 

 

1. SSG-1029P-NMR36L

1U All-Flash NVMe 스토리지 (NGSFF SSD)


  총 32개의 핫스왑 PCI-E NGSFF 드라이브 베이를 지원하며, 다른 두 모델과 달리 CPU, 메모리 등을 장착하는 스토리지 서버 제품입니다. 최대 2개의 Intel Xeon Scalable 프로세서와 24개의 DIMM 슬롯을 통해 최대 3TB의 메모리를 지원합니다. 대용량 메모리를 지원하기에 IOPS 집약적인 스토리지 어플리케이션에 최적화되어 있습니다. 이외에도 MySQL, Casandra와 같은 데이터베이스 어플리케이션과 하이퍼컨버지드인프라(HCI) 그리고 스케일 아웃 아키텍처 도입 시 권장하는 모델입니다. 

 

▲ SSG-1029P-NMR36L (출처: Supermicro Reseller Site)

 

 

 

▲ NGSFF SSD PM983

 

 

 

 

 

2. SSG-136R-N32JBF

1U All-Flash NVMe JBOF (2.5" SSD)


  1U 랙마운트 타입에 총 32개의 핫스왑 NVMe SSD를 지원한다는 점은 1029P-NMR36L 모델과 동일하나, 이와 달리 JBOF(Just a Bunch Of Flash) 시스템으로 호스트와 연결하여 사용 가능합니다. 높은 처리량(Throughput)을 요하는 인제스트나 고집적 핫 스토리지, 빅데이터 그리고 HPC / 데이터 분석 어플리케이션을 운영하는 데 적합합니다. 

 

 

▲ SSG-136R-N32JBF (출처: Supermicro Reseller Site)

 

​

 

 

 

3. SSG-136R-NR32JBF

1U All-Flash NVMe JBOF (Ruler SSD)


  앞에서 설명한 136R-N32JBF와 대체적인 사양은 동일하며, 최적화된 사용환경 역시 유사합니다. JBOF 시스템으로 호스트 시스템과의 연결이 필요하다는 점도 같습니다. 다만, 지원하는 NVMe SSD 규격이 특수한데, Intel에서 새롭게 출시한 Ruler SSD를 지원합니다. Ruler SSD는 성능, 전력, 밀도 등이 이전 대비 확장된 제품입니다. 무엇보다 구조상 냉각효율이 우수해 이전의 All-Flash 스토리지 기술에 비교했을 때 더 고밀도, 고성능 All-Flash 스토리지 솔루션을 제공할 수 있습니다. 

▲ SSG-136R-NR32JBF (출처: Supermicro Reseller Site)







 [NVMe-oF 기술 및 활용사례]


  1) NVMe-oF란?

  NVMe 스토리지의 성능을 극대화 시켜줄 네트워킹 기술인 NVMe over Fabrics(NVMe-oF)는 스토리지 네트워킹 패브릭을 통해 NVMe 블록 스토리지 프로토콜을 위한 다양한 스토리지 네트워킹 패브릭을 지원하는 공통 아키텍처를 의미합니다. NVMe-oF에는 스토리지 시스템에서 전면 인터페이스를 활성화하는 것, 다수의 NVMe 장치로 스케일 아웃하는 것과 데이터센터 내에서 NVMe 장치들과 NVMe 서브시스템에 접근 가능한 거리를 확장하는 기능이 포함됩니다.

  NVMe-oF 사양 작업은 NVMe를 이더넷, 광채널(Fibre Channel) 그리고 InfiniBand와 같은 패브릭으로 확장하는 것을 목표로 2014년 시작되었으며, 현재는 두 가지 유형의 NVMe를 이용한 패브릭 전송 기술이 개발 중입니다:

  1. RDMA를 사용하는 NVMe-oF

  2. FC(광채널)을 사용하는 NVMe-oF (FC-NVMe)


  RDMA를 NVMe-oF와 함께 사용할 시, InfiniBand, RoCE(RDMA over Converged Ethernet) 그리고 iWARP를 포함하여 어떤 RDMA 기술도 사용 가능합니다. FC-NVMe는 FC(광채널)을 기반으로 한 전송과 관련되어 있으며, 이는 FCoE와도 함께 작업될 것으로 예상됩니다. NVMe-oF의 목표는 서버 내에 있는 기본 NVMe 장치에 비해 10μs 이상의 추가적인 지연이 나타나지 않으면서 NVMe 장치들에 원거리 연결을 제공하는 것입니다.

 

​

  ​2) NVMe-oF 활용 사례

  NVMe-oF에는 몇 가지 대표적인 활용 사례들이 있습니다. 우선, 많은 NVMe 장치들로 구성된 스토리지 시스템을 쉽게 상상할 수 있습니다. RDMA 또는 FC(광채널) 인터페이스와 함께 NVMe-oF를 사용하는 경우, 완전한 엔드-투-엔드 NVMe 스토리지 솔루션을 만들 수 있습니다. 해당 시스템은 NVMe를 통해 가능한 아주 낮은 지연성을 유지하는 동시에 매우 높은 성능을 제공합니다. 다른 사례로는 NVMe-oF를 사용하여 저지연성을 달성하면서 예전 프로토콜을 내부적으로 사용하여 시스템 내의 각 SSD에 대한 I/O를 처리하는 스토리지 서브시스템에 연결되는 것입니다. 이를 통해 기존 스토리지 서브시스템 기술의 이점을 취하는 동시에 단순화된 호스트 소프트웨어 스택의 이점과 유선보다 낮은 지연성을 얻을 수 있습니다.

 

  이미 IT 분야에서는 기존 스토리지의 여러 한계로 인해, 다가오고 있는 "하이퍼-스케일" 데이터센터에 대응할 수 없을 것이라고 여기고 있습니다. IDC에 따르면 2020년에는 전 세계 데이터의 양이 50ZB에 달할 것이라고 추정했습니다. 시스코 역시 글로벌 클라우드 인덱스를 통해 유사한 견해를 내놓았습니다. 이에 따르면, 클라우드 트래픽이 연평균 30% 성장하여 2020년에는 연 14ZB로 2015년 대비 약 4배 증가할 것이라고 전망했습니다. 하지만 현재의 네트워크 대역폭으로는 데이터의 기하급수적 성장을 지원할 수 없습니다. 이에, 데이터의 수집•보관•처리를 위해 스토리지 기술과 역할에 대한 변화 요구도 높아지고 있습니다. All-Flash NVMe 스토리지와 NVMe-oF 기술은 지연성을 크게 낮추고 입출력을 개선하여 이 같은 문제를 해결할 수 있습니다. 특히, NVMe-oF를 활용하면 같은 서버 내에 있는 NVMe 장치와 다른 서버의 NVMe 장치 간 연결 시 시간 차이가 10μs 이하로 거대한 병렬 컴퓨팅 클러스터에 최적화되어 있습니다.

 

 

 

업계 최다 NVMe 기반 스토리지 & JBOF에 대한 더 자세한 정보를 원하시는 분은

고객센터로 연락 주시면 디에스앤지의 하드웨어 및 솔루션 전문가를 통해 상담 가능합니다!

 

 

LIST