NVIDIA 공식 파트너 디에스앤지

GPU 및 인공지능 컴퓨팅 분야의 세계적 기업

인공지능 컴퓨팅 분야의 선도 기업인 NVIDIA는 GPU 컴퓨팅의 세계적 리더로 인정받고 있습니다. 최신 NVIDIA H100 GPU 등 디에스앤지는 가장 강력한 딥러닝 플랫폼을 지원하여, 새로운 비즈니스 기회 발굴을 돕습니다.

인프라

NVIDIA TRITON 추론 서버

추론 제공

NVIDIA TRITON 추론 서버 NVIDIA Triton™ Inference Server는 배포 및 실행을 표준화하고 프로덕션 환경에서 빠르고 확장 가능한 AI를 제공하는
오픈 소스 추론 제공 소프트웨어입니다.

NVIDIA Triton

Triton Inference Server는 GPU 또는 CPU 기반 인프라의 모든 프레임워크에서 훈련된 AI 모델을 배포, 실행 및 확장할 수 있도록 하여 AI 추론을 간소화합니다.
클라우드, 온프레미스, 에지 및 임베디드 장치 전반에 걸쳐 고성능 추론을 제공하는 데 도움이 됩니다.

  • 멀티 프레임워크 지원

    Triton Inference Server는 TensorFlow, NVIDIA® TensorRT™, PyTorch, MXNet, Python, ONNX, RAPIDS™ FIL(XGBoost, scikit-learn 등), OpenVINO, 맞춤형 C++ 등과 같은 모든 주요 프레임워크를 지원합니다.

  • 고성능 추론(Inference)

    Triton은 모든 NVIDIA GPU, x86 및 ARM® CPU 기반 추론을 지원합니다.
    일괄 처리, 동시 실행, 최적의 모델 구성, 스트리밍 입력과 같은 기능을 제공하여 처리량과 활용도를 극대화합니다.

  • DevOps 및 MLOps 전용 설계

    Triton은 오케스트레이션 및 확장을 위해 Kubernetes와 통합하고 모니터링을 위해 Prometheus 메트릭을 내보내고 라이브 모델 업데이트를 지원하며 모든 주요 퍼블릭 클라우드 AI 및 Kubernetes 플랫폼에서 사용할 수 있습니다. 또한 많은 MLOPS 소프트웨어 솔루션에 통합되어 있습니다.

NVIDIA Triton과 에코 시스템 통합

오픈 소스 소프트웨어 솔루션인 Triton은 AI 추론 및 모델 배포를 위한 최고의 선택입니다. Triton은 Alibaba Cloud, Amazon Elastic Kubernetes Service(EKS), Amazon Elastic Container Service(ECS), Amazon Sagemaker, Google Kubernetes Engine(GKE), Google Vertex AI, HPE Ezmeral, Microsoft Azure Kubernetes Service(AKS) 및 Azure에서 지원됩니다.

NVIDIA AI 추론 리소스

  • 대규모 AI 배포 간소화

    프로덕션에서 대규모 AI 모델 배포를 간소화합니다. Triton이 AI 모델 배포의 문제를 해결하는 방법을 알아보고 작하기 위한 단계를 검토하십시오.

  • 주문형 세션 보기

    NVIDIA GTC의 Triton Inference Server에 대한 최신 주문형 세션을 확인하십시오.

  • AI 딥 러닝 모델 배포

    NVIDIA 기술 블로그에서 최신 뉴스와 업데이트를 확인하고 주요 이점에 대해 자세히 알아보십시오.

  • 제품 설명서 읽기

    Triton 릴리스 정보에서 새로운 기능을 확인하고 최신 기능에 대해 자세히 알아보십시오.

모든 애플리케이션에서 빠르고 확장 가능한 AI

  • NVIDIA Triton 추론 서버는 높은 추론 처리량을 제공합니다.

    Triton은 단일 GPU 또는 CPU에서 동일하거나 다른 프레임워크의 여러 모델을 동시에 실행합니다. 다중 GPU 서버에서 Triton은 각 GPU에 각 모델의 인스턴스를 자동으로 생성하여 활용도를 높입니다.

    또한 엄격한 대기 시간 제약에서 실시간 추론을 위해 제공을 최적화하고 GPU 및 CPU 활용도를 최대화하기 위한 일괄 추론을 지원하며 오디오 및 비디오 스트리밍 입력에 대한 내장 지원을 통해 스트리밍 추론을 지원합니다. Triton은 대화형 AI와 같은 추론을 위해 여러 모델이 필요한 사용 사례에 대해 모델 앙상블을 지원합니다.

    모델은 Triton 또는 애플리케이션을 다시 시작하지 않고도 프로덕션에서 실시간으로 업데이트할 수 있습니다. Triton은 단일 GPU 메모리에 들어갈 수 없는 초대형 모델에서 다중 GPU, 다중 노드 추론을 가능하게 합니다.

  • NVIDIA Triton 추론 서버는 확장성이 뛰어난 추론을 제공합니다.

    Docker 컨테이너로도 사용 가능한 Triton은 오케스트레이션, 메트릭 및 자동 크기 조정을 위해 Kubernetes와 통합됩니다. Triton은 또한 AI 워크플로를 위해 Kubeflow 및 Kubeflow 파이프라인과 통합되고 GPU 사용률, 대기 시간, 메모리 사용 및 추론 처리량을 모니터링하기 위해 Prometheus 메트릭을 내보냅니다. 표준 HTTP/gRPC 인터페이스를 지원하여 로드 밸런서와 같은 다른 애플리케이션과 연결하고 모든 모델에 대해 증가하는 추론 로드를 처리하기 위해 원하는 수의 서버로쉽게 확장할 수 있습니다.

    Triton은 모델 제어 API를 통해 수십 또는 수백 개의 모델을 제공할 수 있습니다. GPU 또는 CPU 메모리에 맞게 변경 사항을 기반으로 추론 서버에 모델을 로드 및 언로드할 수 있습니다. GPU와 CPU가 모두 있는 이기종 클러스터를 지원하면 플랫폼 전반에서 추론을 표준화하고 모든 CPU 또는 GPU로 동적으로 확장하여 피크 로드를 처리할 수 있습니다.

Key Features

  • Triton Forest Inference Library (FIL) Backend

    새로운 FIL(Forest Inference Library) 백엔드는 CPU 및 GPU에서 설명 가능성(Shapley 값)이 있는 트리 기반 모델의 고성능 추론을 지원합니다. XGBoost, LightGBM, scikit-learn RandomForest, RAPIDS cuML RandomForest 및 기타 Treelite 형식의 모델을 지원합니다.

  • Triton 관리 서비스

    트리톤 관리 서비스Triton 관리 서비스(TMS)는 많은 수의 모델로 Triton 인스턴스를 효율적으로 확장하는 문제를 해결합니다. TMS는 단일 GPU에 들어갈 수 있는 것보다 더 많은 모델이 있을 때와 다른 애플리케이션의 추론 요청을 처리하기 위해 서버 간에 많은 Triton 인스턴스가 필요할 때 도움이 되는 서비스입니다.

  • Triton 모델 분석기

    Triton 모델 분석기는 대상 프로세서에서 배치 크기, 정밀도 및 동시 실행 인스턴스와 같은 Triton 배포 구성을 자동으로 평가하는 도구입니다. 대기 시간, 처리량 및 메모리 요구 사항과 같은 애플리케이션 서비스 품질(QoS) 제약 조건을 충족하는 최적의 구성을 선택하는 데 도움이 됩니다. 최적의 구성을 찾는 데 필요한 시간을 단축합니다.

  • NVIDIA 스타트업 프로그램

    NVIDIA Inception은 NVIDIA Triton, NVIDIA 전문가, 벤처 자본가 및 공동 마케팅 지원과 같은 첨단 기술에 대한 액세스를 통해 스타트업이 더 빠르게 발전할 수 있도록 설계된 무료 프로그램입니다

    더 알아보기