지난 9월 출시된 엔비디아 T4 GPU는 이미 세계 유수의 컴퓨터 제조업체가 제공하는 57가지 서버 설계에 적용됐다. T4 GPU는 이제 클라우드에서도 사용이 가능해진 가운데, 구글 클라우드 플랫폼 고객을 위한 T4도 최초 공개됐다.
T4는 고성능컴퓨터(HPC), 딥 러닝 교육과 추론, 머신 러닝, 데이터 분석, 그래픽 등 다양한 클라우드 워크로드를 가속화한다. 새로운 엔비디아 튜링(Turing) 아키텍처에 기반한 이 제품은 다중 정밀 튜링 텐서(Tensor) 코어와 새로운 RT 코어를 특징으로 한다. 또한 가속화된 컨테이너형 소프트웨어 스택과 결합될 경우 전례 없는 성능을 제공한다.
다미온 헤레디아 구글 클라우드 제품 관리 담당 수석 이사는 “실시간 시각화와 온라인 추론 워크로드를 최종 사용자에 제공하려면 지연시간이 낮아야 한다. 엔비디아와 협력해 구글 클라우드 고객에 T4 GPU를 지원하게 되어 기쁘게 생각한다”며 “구글 클라우드용 엔비디아 T4 GPU는 우리의 머신 러닝 및 시각화 고객들에게 확장성과 비용효율성이 뛰어나면서도 지연시간이 낮은 플랫폼을 제공한다. 고객들은 구글 클라우드의 네트워크 역량과 T4의 기능을 결합해 새로운 방식으로 혁신할 수 있으며, 애플리케이션 속도는 높이는 동시에 비용은 낮출 수 있다”고 말했다.
퍼블릭 및 엔터프라이즈 클라우드 환경에서 요구되는 고유한 확장성을 충족시키도록 설계된 T4는 처리량(throughput), 사용률, 사용자 병행성(concurrency)을 극대화시켜 고객들이 사용자 및 데이터 폭증에 효과적으로 대응하도록 지원한다.
T4는 또한 70W소형 폼팩터로 표준 서버나 오픈 컴퓨트 프로젝트 하이퍼스케일 서버 설계에 적합한 유연성을 제공한다. 서버 설계는 단일 노드에서 1개부터 20개의 GPU를 지원한다. T4가 가진 다중정밀 기능은 4가지 정밀 수준에서 다양한 AI 워크로드를 위한 획기적인 AI 성능을 제공한다. 이를 통해 FP32에서 8.1 테라플롭(1테라플롭=초당 1조번 연산), FP16에서 65 테라플롭, INT8에서 130 TOPS(초당 테라 연산), INT4에서 260 TOPS의 성능을 구현한다. AI 추론 워크로드의 경우 T4 GPU 2개를 탑재한 서버로 CPU 전용 서버 54개를 대체할 수 있다. 또한, AI 훈련을 위해서는 T4 GPU 2개를 탑재한 서버로 이중 소켓 CPU 전용 서버 9개를 대체할 수 있다.
이재구 기자 jklee@g-enews.com