디에스앤지

고객의 미래가 디에스앤지의 미래입니다.

공지사항

[제품소개] 인-메모리 컴퓨팅이 필요하다면, 슈퍼마이크로 멀티-프로세서 서버

작성일 : 2018.04.25 조회수 : 4174

안녕하세요! 디에스앤지입니다:)

인텔의 CPU 판도가 Xeon Scalable(확장형) 프로세서로 넘어감에 따라, 슈퍼마이크로 역시 이를 지원하는 MP(멀티-프로세서) 서버를 작년 하반기에 선보였습니다. 슈퍼마이크로 MP 서버는 최고 수준의 성능, 효율성 및 보안성과 함께 필수적인 RAS(Reliability, Availability, Serviceability) 기능을 제공합니다. 이렇듯 고신뢰성을 갖추고 있어 고급 분석, 데이터베이스, 가상화, 그리고 스케일-업 HPC 워크로드와 같은 엔터프라이즈 미션-크리티컬 어플리케이션에 적합합니다. 특히, 슈퍼마이크로의 MP 서버는 Microsoft DWFT 및 SAP HANA 인증을 취득하는 등 다양한 소프트웨어를 사용 가능해 그 활용 폭이 더 넓어지고 있습니다.

▶ RAS란?

Reliability(신뢰성), Availability(가용성), Serviceability(보수성)의 세 가지 기능을 의미합니다. 즉, 하드웨어의 장애 대책 등을 통해 내부적으로 장애를 극복하여 높은 신뢰도를 확보할 수 있게 해줍니다. 시스템이 정지되면 초래하는 영향이 엄청나게 큰 경우, 즉, 미션-크리티컬 분야에 반드시 필요한 기능입니다.

MP 서버는 일반 듀얼 서버 대비 2-4배의 프로세서를 장착할 수 있어 높은 코어 수를 바탕으로 고성능 컴퓨팅을 지원하도록 설계되었습니다. 또한, 슈퍼마이크로의 최신 MP 서버는 4-Way(SYS-2049U-TR4)와 8-Way(SYS-7089P-TR4T), 2가지로 각각 6TB, 12TB의 엄청난 대용량 메모리를 지원합니다. MP 서버는 극대화된 메모리 용량으로 ‘인-메모리 컴퓨팅(In-Memory Computing)’에 최적화되어 있습니다. 이러한 인-메모리 컴퓨팅은 CPU의 성능 향상과 함께 더욱 더 부각되고 있는데, 기존의 스토리지 기반 컴퓨팅과 달리 스토리지 I/O 상에서 발생하는 병목현상을 방지하여 성능 저하를 막을 수 있습니다. 이와 더불어 최근 DRAM의 용량 및 속도 향상도 인-메모리 컴퓨팅을 활성화 시키는 큰 주역 중 하나입니다.

 

[In-Memory Computing 기술]

1. 인-메모리 컴퓨팅 개요

데이터의 발생량이 기하급수적으로 늘어나면서, 최근에 기업과 연구소, 정부를 비롯한 조직들로 하여금 실시간으로 주요한 의사결정을 내리기 위해 이러한 데이터를 모으고, 분류하며, 분석하는 새로운 방법을 찾아야 할 필요성이 대두되고 있습니다. 마음대로 사용할 수 있는 대규모의 데이터를 갖게 되는 것은 빅데이터 시대의 한 부분이며, 데이터를 실제로 사용할 수 있는 능력을 갖추는 것 역시 그만큼 중요한 화제입니다. 실제로, 다수의 데이터 분석가들은 데이터 자체는 누구나 만들어낼 수 있는 것이며, 중요한 것은 그 데이터를 어떻게 분류하고 처리하며 분석하여 유의미한 결과를 도출해낼 것인가라고 여깁니다. 흔히들 빅데이터 시대에서 데이터는 클수록 좋은 것이라고 이야기하지만, 이는 주요 이해관계자들이 활용할 수 있도록 데이터를 신속하게 처리할 수 있을 때만 해당하는 것입니다. 아무리 많은 데이터가 있더라도 이를 처리하고 여기서 유의미한 인사이트를 끄집어내지 못한다면 대규모 데이터세트는 크기만 큰 짐 덩어리에 불과하기 때문입니다.

게다가 실시간/온-디맨드 어플리케이션의 부상 또한 데이터에서 의미 있는 패턴을 추출할 수 있는 더 우수하고 더 빠른 프로세싱을 필수적으로 만들었습니다. 이에, 빅데이터 시스템 관리자들은 값 비싼 DRAM을 대량으로 장착한 대규모 스케일-업(scale-up) 시스템으로 눈을 돌리거나, 다수의 서버로 구성된 분산 인-메모리 그리드를 설정하고 있습니다. 속도의 혁신을 가져온 인-메모리 컴퓨팅은 대규모 데이터의 실시간 처리를 가능하게 하기 때문입니다. 지난해 개최된 한 서밋에서 미국의 오픈소스 IMDG(In Memory Data Grid) 솔루션 전문기업인 헤이즐캐스트는 경주에서 발생한 지진으로 인해 국민안전처 홈페이지가 다운된 일을 설명하며, 단순히 서버 용량을 증설하는 것보다 그에 맞는 기술을 적용하는 것이 중요하다며 ‘인-메모리 컴퓨팅’의 중요성에 대해 강조하기도 했습니다. 데이터 처리에 있어 원하는 성능을 달성하지 못한다면 이 같은 데이터를 처리하는 데 드는 비용의 낭비가 오히려 수익 감소를 야기하며, 이 때문에 인-메모리 컴퓨팅에 대한 니즈는 더욱 강조되고 있으며 나아가 빅데이터 시대의 필수조건으로 언급되기도 합니다.

 

▲ 스토리지 컴퓨팅과 인-메모리 컴퓨팅 비교 (병목현상 발생 여부) 

 

인-메모리 컴퓨팅이란 컴퓨팅 속도저하의 근본원인인 입출력(I/O)을 개선하는 데 중점을 두어, 디스크(보조저장장치)가 아닌 메모리 상에 데이터를 저장해 두고 처리하는 것을 일컫습니다. 보다 빠른 데이터 쿼리를 위해 큰 규모의 cache farm을 이용해, 정보를 가져올 때 스토리지 I/O에서 발생하는 병목현상을 해결합니다. 게다가 대규모 공유 메모리 풀을 사용하여 더 많은 그리고 더 강한 가상 머신을 만들 수 있습니다. 이렇듯 인-메모리 컴퓨팅의 가장 큰 장점은 속도의 혁신입니다. 단순히 과거에 했던 업무의 처리 속도가 빨라진다는 것을 의미하는 것이 아니라, 향상된 속도를 바탕으로 과거에는 엄두도 내지 못했던 일들을 할 수 있게 만든다는 의미입니다. 이를 통해 전혀 새로운 차원의 비즈니스 혁신이 가능해집니다. 인-메모리 컴퓨팅은 다음과 같은 장점을 가지고 있습니다:

■  오류 감소 및 미래의 실패 방지

- 실시간 데이터 분석으로 비즈니스를 빠르게 예측하고, 미래의 경영상 문제에 대응 또는 이를 방지하게 해줍니다.

- 비즈니스 연속성을 보호하고 고객들이 계속해서 제품 및 서비스 품질에 만족할 수 있게 해줍니다.

■  고급 BI(비즈니스 인텔리전스)

- 가장 중요한 경쟁 우위를 유지하게 해줍니다.

- BI(비즈니스 인텔리전스) 어플리케이션에 인-메모리 컴퓨팅을 접목하면 비즈니스를 역동적으로 만들 수 있고, 전략을 즉각적으로 바꿀 수 있습니다.

■  부정행위 탐지

- 보안은 그 무엇보다도 중요하며, 사이버 공격은 재정적 손실과 비즈니스 다운타임을 초래합니다.

- 실시간 보안 시스템은 이러한 위협을 밝혀내고 이를 즉시 완화시킬 수 있게 합니다.

즉, 인-메모리 컴퓨팅을 이용할 경우, 데이터에서 빠르게 비즈니스 패턴을 발견하고, 거대한 데이터 볼륨을 분석하고, 실시간으로 비즈니스 인텔리전스 작업을 수행할 수 있습니다. 이를 통해, 빠르고 정확한 의사결정으로 경쟁우위를 확보할 수 있으며 데이터의 실시간 분석으로 낭비되는 자원을 최소화할 수 있습니다. 현재 인-메모리 컴퓨팅은 금융 서비스, 통신사, 헬스케어, 생명과학, 정부, 에너지 자원, 교통 및 운송과 같이 다양한 산업에 이용되고 있습니다.

 

2. 인-메모리 컴퓨팅 적용 사례

MP 서버를 기반으로 한인-메모리 컴퓨팅이 사용되는 가장 유력한 분야 중 하나는 비즈니스 인텔리전스(BI; Business Intelligence) 입니다. 전통적인 BI 시스템의 작업 흐름은 크게 4가지 단계로 나뉩니다: 1)복사, 2)E.T.L (Extraction-추출, Transformation-변환, Load-적재), 3)쿼리, 4)인사이트. 우선, 엔터프라이즈 데이터가 저장된 스토리지에서 운용 데이터 저장을 담당하는 서버로 데이터를 복사합니다. 복사된 데이터는 E.T.L 단계를 거쳐 그 결과물은 각각 데이터 웨어하우스 용 서버와 집합 & 인덱스 용 서버로 전송됩니다. 이후 쿼리를 실행하여 생성된 데이터를 계산/데이터 큐브 용 서버와 데이터 시각화 용 서버로 보냅니다. 그리고 해당 서버에서 최종적으로 인사이트를 발견해 이를 바탕으로 의사 결정권자가 최종적인 비즈니스 상의 결정을 내리게 됩니다. 즉, 이전의 BI 시스템에 따르면 워크 플로우 마다 다른 서버, 다수의 서버 (최소 5대)를 거쳐야만 중요한 판단을 할 수 있었습니다.

하지만, 인-메모리 컴퓨팅을 기반으로 한 BI 시스템은 훨씬 더 간결하며 빠르게 진행됩니다. 엔터프라이즈 스토리지에 저장된 데이터를 MP 서버(ex. 7089P-TR4T)로 복사한 후, 해당 서버 내에서 일련의 데이터 프로세싱 단계를 거쳐 인사이트를 추출하며 이를 바탕으로 비즈니스 결정을 내립니다. 처음 스토리지를 제외하면 데이터 추출부터 시각화까지 모든 워크 플로우를 하나의 서버 안에서 작업할 수 있습니다. 이를 통해, 비용 및 전력 절감과 유지보수 용이성을 획득할 수 있습니다. RAM의 경우 일반 디스크 대비 5,000배 이상 빠르며, SAP HANA 솔루션을 이용할 경우 전통적인 BI 어플리케이션 보다 10,000배 이상 빠르게 처리 가능합니다. 즉, 며칠이 걸리는 작업은 몇 분으로, 몇 시간이 걸리는 작업은 몇 초로 당길 수 있으며, 신속·정확한 의사결정으로 경쟁우위를 확보할 수 있습니다.

▶ E.T.L이란?

DW(데이터 웨어하우스) 아키텍처 구성요소 간의 데이터 일관성 및 정합성을 유지시키는 기법으로, Extraction(추출), Transformation(변환), Load(적재) 세 가지로 이루어진 일련의 단계입니다. 즉, 기업에서 운영하는 소스시스템에서 데이터를 ‘추출’하여 ‘정제/변환’ 시킨 후 이를 DW에 ‘적재’하는 것입니다. 우선, ‘추출’은 원본파일과 OLTP로부터 DW에 저장될 데이터를 추출하는데 이 때 데이터는 일/주/월 단위 주기로 추출 가능합니다. ‘변환’은 데이터 클린징을 수행, 오류 수정, 데이터 품질 향상, DW에 맞추어 형태 변형 등이 있습니다. ‘적재’는 선택된 데이터를 DW에 전송, 저장 및 필요 색인을 작성하는 단계입니다. 

▲ 전통적인 IoT 솔루션: OLTP와 OLAP 분리

또 다른 이용 사례로는 IoT 분야가 있는데, 인-메모리 컴퓨팅을 적용할 경우 실시간으로 확장성 있는 IoT 솔루션을 구축할 수 있습니다. 일반적으로 IoT 솔루션의 과제는 ‘어떻게하면 모든 데이터를 실시간으로 활용할 수 있는가?’ 였습니다. 실제로, 각종 기기에서 발생하는 데이터를 수집하여 IoT 게이트웨이를 통해 OLTP(Online Transaction Processing; 실시간 데이터) DB로 전송합니다. 이후, 자주 사용되지 않는 콜드 데이터는 스토리지에 따로 저장되며, 그 외 데이터는 OLAP(Online Analytical Processing; 과거 데이터) DB로 복제됩니다. OLAP 데이터는 분석을 위한 데이터베이스라고 볼 수 있는데, 여기서 나온 분석 결과를 바탕으로 각 IoT 장치에서 수행할 명령 또는 지시사항이 엣지로 넘어갑니다. 이렇게 운영 시스템과 분석 시스템을 분리 운영하기에, IoT 장치들이 즉각적으로 외부 환경이나 변화 혹은 요구사항에 대응하는 것은 어려워 보입니다.​

 ▲ HTAP 기반 IoT 솔루션: 인-메모리 데이터베이스 OLTP + OLAP

​    하지만 인-메모리 컴퓨팅을 활용한다면 이야기는 달라집니다. 2014년 초 가트너가 언급한 HTAP(Hybrid Transaction / Analytical Processing)가 바로 그것입니다. HTAP는 데이터 중복 없이 OLTP와 OLAP가 한 시스템 내에서 모두 가능한 새로운 데이터 플랫폼입니다. 우선, 일반적인 IoT 프로세스와 동일하게 게이트웨이를 통해 수집된 데이터가 서버(ex. 2049U-TR4)로 전송됩니다. 데이터의 복제 없이 한 서버 내에서 OLTP, OLAP, 분석이 실시간으로 수행하며, 이를 통해 데이터 중복을 방지합니다. 또한, 각각의 IoT 장치에 실시간으로 지시사항을 전달하고 이를 통제할 수 있습니다. 운영과 분석 서버가 분리되어 있지 않아, 확장 및 프로그래밍도 기존보다 훨씬 간편합니다. 이 같은 방식은 현재 은행/ATM 및 차량 관리 분야에서 사용되고 있습니다.

 

[슈퍼마이크로 MP(멀티-프로세서) 서버]

슈퍼마이크로는 MP 서버를 개발 및 설계하는 데 있어, 최근 엔터프라이즈 컴퓨팅이 직면한 두 가지 과제를 해결하는 데 초점을 맞추었습니다. 우선, 데이터 세트의 규모가 점점 더 증가하는 한편 신속한 데이터 처리를 통해 이 같은 데이터에서 실시간으로 인텔리전스를 얻어야 하는 데이터베이스 상의 과제가 있습니다. 다음으로는 기업이 운영하는 어플리케이션의 수와 그 종류가 점점 더 많아지고 다양해짐에 따라, 가상화를 하는 데 있어 다수의 어플리케이션을 동시에 운영하고 이에 반응해야 합니다. 즉, 슈퍼마이크로의 MP 서버는 강력한 컴퓨팅 능력을 바탕으로 더 많은 것을 더 빠르게 처리하는 것이 주요 목표이며, 현재 최신 인텔 Xeon Scalable 프로세서를 기반으로 한 X11 시리즈가 출시되었습니다.

 

1. SYS-7089P-TR4T / 7U 8-Way 서버

SYS-7089P-TR4T는 7U 폼 팩터에 8개의 CPU를 지원하는 8-Way MP 서버입니다. 단일 시스템(노드)에서 최대 224 코어(448 스레드) 및 96개의 DIMM 슬롯에 최대 12TB의 대용량 메모리(2666MHz 메모리 속도)를 지원하는 등 높은 연산 능력을 바탕으로 고성능 컴퓨팅이 가능합니다. 해당 시스템은 확장성을 극대화했으며, 가장 까다로운 어플리케이션의 요구사항도 충족시킬 수 있게 스케일-업이 가능하도록 설계되었습니다. 즉, 슈퍼마이크로의 다양한 서버 중 가장 강력한 최고의 성능을 발휘하는 만큼 엔터프라이즈 미션-크리티컬 어플리케이션, 엔터프라이즈 자원관리, 고성능 가상화, 스케일-업 HPC(고성능 컴퓨팅), ERP/CRM(고객 관계 관리) 및 BI(비즈니스 인텔리전스) 데이터베이스 어플리케이션, 인-메모리 데이터베이스 어플리케이션, 인공지능(AI), 실시간 분석 그리고 각종 연구 분야에 가장 이상적인 시스템입니다.

총 8개의 메인보드가 각각 모듈 형태로 이루어져 있으며, 이외의 주요 부품들 역시 모두 모듈라 디자인으로 설계되어 높은 유지보수성을 자랑합니다. 이외에도 각각의 CPU 모듈에는 메모리에 에러 발생 시 이를 알려주는 LED가 있어, 문제 발생 시 데이터센터 관리자가 신속하게 확인하고 해결할 수 있습니다. 시스템의 뒷면에는 5개의 1600W Titanium 등급(96%) 리던던트(N+2) 파워 서플라이가 장착되어 있으며 높은 전력 가용성을 보장합니다. 또한, 10K RPM의 핫스왑 팬이 8개 있어 높은 집적도와 성능에도 불구하고 안정적으로 시스템 냉각이 가능합니다. 추가 PCI-E 모듈 5개와 PCH 모듈 1개가 있는데, PCH 모듈에는 SIOM 네트워크 카드를 장착하도록 되어있어 유연한 네트워크 환경 구축 및 변경이 가능합니다. 또한, 40개 이상의 고급 RAS 기능이 내장되어 엔터프라이즈 급 안정성 및 보안성을 제공합니다.

 

▲ SYS-7089P-TR4T (출처: Supermicro Reseller Site)

해당 시스템의 큰 특징 중 하나는 최대 23개의 PCI-E 3.0 슬롯입니다(OEM 시 최대 39개의 슬롯 지원 가능). 전 세대인 SYS-7088B-TR4FT가 192 DIMM 슬롯을 통해 최대 24TB의 메모리를 지원하며 전적으로 메모리에 초점을 맞춘 반면, SYS-7089P-TR4T는 PCI-E에 초점을 맞추었으며 이를 통해 최대 32개의 NVMe (U.2)를 장착할 수 있습니다. NVMe를 장착하여, 성능은 최대한 유지하면서 메모리로 인한 용량 대비 비용 부담을 줄일 수 있습니다. NVMe 외에도 최대 23개의 PCI-E 카드 또는 8개의 double-width GPU 카드를 장착 가능합니다. 확장슬롯에 어떤 카드를 장착하느냐에 따라 구성을 자유롭게 할 수 있어 유연성이 높으며, 주로 사용되는 구성은 다음 3가지 입니다: 1) GPU/네트워킹 MP 서버, 2) GPU/NVMe MP 서버 3) NVMe MP 서버.

▲ SYS-7089P-TR4T Configuration 예시

해당 시스템은 위와 같은 구성 외에도, 외부 SAS 케이블 또는 PCI-E 케이블을 통해 슈퍼마이크로의 JBOD/JBOF와 연결하여 사용 가능합니다. 60/90베이 JBOD(946SE1C-R1K66JBOD / 946ED-R2KJBOD)과 연결 시 대용량 스토리지를 구축할 수 있으며, NVMe JBOF(136R-N32JBF / 136R-NR32JBF)와 연결 시 캐시 확장이 가능합니다. 또한, 7089P-TR4T는 현재 독일의 소프트웨어 전문 기업 SAP의 인-메모리 데이터베이스 플랫폼인 SAP HANA® 인증 취득을 위해 테스트 중에 있으며 2018년 내에 완료될 예정입니다.

​

2. SYS-2049U-TR4 / Ultra 2U 4-Way 서버

SYS-2049U-TR4는 2U 폼 팩터에 4개의 CPU를 지원하는 4-Way MP 서버입니다. 인텔 Xeon Scalable 프로세서의 Platinum 8100 및 Gold 6100, 5100 계열 제품군을 장착 가능하며, 4개의 소켓을 통해 최대 112 코어(224 스레드)를 지원합니다. 또, 48개의 DDR4 DIMM 슬롯(Apache Pass 지원)으로 최대 6TB까지 메모리를 장착 가능합니다. 2U 서버 내 최대 11개의 PCI-E 3.0 슬롯이 있어, 유연한 I/O 및 네트워크 옵션을 자랑합니다. 게다가 NVMe AOC를 추가로 장착할 시, 총 24개의 HDD 베이 중 최대 4개의 핫스왑 NVMe (U.2) 베이를 제공 가능해 더욱 빠른 디스크 스토리지를 확보할 수 있습니다. 이 같은 구조적 이점을 바탕으로 2049U-TR4는 하이-엔드 엔터프라이즈 서버로서 인-메모리 데이터베이스 어플리케이션, HPC 클러스터, 가상화, ERP/CRM(고객 관계 관리) 그리고 클라우드 컴퓨팅 등에 최적화되어 있습니다.


​

▲ SYS-2049U-TR4 (출처: Supermicro Reseller Site)

 한편, 해당 시스템은 지난 12월 이미 SAP HANA® 인증을 취득했습니다. SAP HANA 솔루션이 탑재된 슈퍼마이크로 2049U-TR4(STS-SAP-APP-2049U-TR4)는 특별한 스케일-업 싱글 노드 시스템으로 HANA 인-메모리 기술의 까다로운 성능 요구사양에 맞게 설계되었습니다. 즉, SAP HANA®에서 적용되는 핵심 데이터베이스 및 어플리케이션을 위해 사전 조립, 설치, 구성 및 표준화되어 인-메모리 데이터베이스에 최적화된 솔루션을 충분히 제공 가능합니다. 또한, 고객의 니즈에 맞춰 다양한 컨피규레이션으로 제공되는데, 192GB에서 6TB까지 메모리를 원하는 대로 스케일-업 할 수 있습니다. 슈퍼마이크로는 SAP HANA® 인증은 가장 까다로운 기업의 요구사항을 맞추는데 필요한 혁신적이고 새로운 핵심 솔루션들을 공급하고 서비스하기 위해 슈퍼마이크로의 솔루션 포트폴리오에 반드시 추가해야 할 인증이라고 언급했으며, 곧 더 강력한 스케일-업 시스템인 8-Way MP 서버 역시 SAP HANA 인증 포트폴리오에 추가할 예정입니다.

 

 [슈퍼마이크로 SAP HANA® 솔루션]

최근 4차 산업혁명으로 인해 판도가 변화하며 대부분의 비즈니스에는 실시간으로 대용량 데이터에 엑세스하고 이를 분석하는 것이 굉장히 중요한 일로 떠오르고 있습니다. 슈퍼마이크로는 이를 인지하여 글로벌 소프트웨어 기업인 SAP의 글로벌 기술 파트너 프로그램에 참가하는 등 최근 SAP과의 협업을 진행하고 있습니다. 일례로, 최신 멀티-프로세서 시스템 중 2049U-TR4는 이미 SAP HANA 인증을 완료하였으며, 7089P-TR4T는 현재 인증 진행 중으로 곧 취득할 예정입니다.

▲ SAP HANA 플랫폼 구성

(출처: https://www.sap.com/developer/topics/sap-hana.html)

슈퍼마이크로는 다양한 개방형 클라우드 스케일 컴퓨팅 솔루션을 활용하는 기업 중 전통적인 고비용 시스템에서 개방형, 비용 최적화, 소프트웨어 정의형 아키텍처로 전환하기를 원하는 엔터프라이즈 고객에게 해당 솔루션을 공급하기 위해 SAP과의 협업을 진행 중입니다. SAP HANA를 통해 이 같은 아키텍처의 전환을 수용한다면, 신속한 업무 처리를 지원하는 동시에 고객들의 장비 유지에 필요한 전체 비용을 절감할 수 있습니다. 슈퍼마이크로 SAP HANA 솔루션은 사전에 소프트웨어 설치 및 환경설정이 완료된 채로 출고가 되며 표준화 및 최적화 작업을 거칩니다. SAP HANA 맞춤형 데이터센터로의 통합은 기존 데이터센터 레이아웃에 따라 SAP HANA 용 레이어를 구성할 수 있어 더 개방적이고 자유로운 선택권을 제공합니다. 슈퍼마이크로는 현재 인증을 진행 중인 8-Way 서버 외에도 SuperBlade에 기반을 둔 4-Way 시스템도 SAP HANA 인증을 준비하고 있으며 2018년 상반기 중 SAP HANA 인증 포트폴리오를 계속 확대할 계획입니다.

▲ SAP HANA 인증을 받은 슈퍼마이크로 SYS-2049U-TR4

(출처: https://www.supermicro.com.tw/solutions/sap/index.cfm?pg=SAP_HANA)


 

슈퍼마이크로를 통한 인-메모리 컴퓨팅 솔루션에 대한 더 자세한 정보를 원하시는 분은

고객센터로 연락 주시면 디에스앤지의 하드웨어 및 솔루션 전문가를 통해 상담 가능합니다!



 


LIST