엔비디아 오린, MLPerf 테스트서 신기록 달성…엣지 AI 성능 강화

[smartPC사랑=임병선 기자] 엔비디아(CEO: 젠슨 황)는 엔비디아 암페어(NVIDIA Ampere) 아키텍처 기반 저전력 시스템 온 칩(system-on-chip) 엔비디아 오린(Orin)이 MLPerf 벤치마크에 최초로 도입됨과 동시에 AI 추론 부문에서 신기록을 달성했다고 밝혔다. 이로써 엔비디아 오린은 엣지에서의 액셀러레이터당 성능 기준을 더욱 높이게 됐다.

전반적으로, 엔비디아 및 파트너사는 프로덕션 AI와 관련된 5번째 벤치마크에서 모든 머신 러닝 워크로드와 시나리오를 실행하는 최고의 성능과 광범위한 생태계를 지속적으로 보여왔다.

엔비디아 오린의 프리 프로덕션(pre-production) 버전은 엣지 AI 성능 테스트 6개 가운데 5개에서 선두를 차지했다. 이전 세대의 젯슨 AGX 자비에(Jetson AGX Xavier)보다 최대 5배 더 빠르게 작동했으며 평균 2배의 에너지 효율을 실현했다.

엔비디아 오린은 현재 로봇 공학 및 자율 시스템을 위해 엔비디아 젯슨 AGX 오린 개발자 키트로 제공된다. 아마존웹서비스(Amazon Web Services), 존디어(John Deere), 코마츠(Komatsu), 메드트로닉(Medtronic), 마이크로소프트 애저(Microsoft Azure)를 비롯한 6,000여 고객이 AI 추론이나 기타 작업에 엔비디아 젯슨 플랫폼을 사용한다.

또한 젯슨 플랫폼은 자율주행 차량을 위한 엔비디아 하이페리온(Hyperion) 플랫폼의 핵심 요소이다. 중국 최대의 전기차 제조업체 비야디(BYD)는 차세대 자율주행 전기차에 오린 기반 드라이브 하이페리온(DRIVE Hyperion) 아키텍처를 사용할 것이라고 가장 최근 발표한 자동차 제조업체이다.

오린은 의료기기를 위한 엔비디아 클라라 홀로스캔(Clara Holoscan)의 핵심 구성 요소이기도 하다. 엔비디아 클라라 홀로스캔 플랫폼은 시스템 제조업체와 연구원들이 차세대 AI 기기를 개발하는 데 사용된다.

작은 모듈, 큰 스택

젯슨 AGX 오린을 포함한 엔비디아 GPU가 탑재된 서버 및 장치는 MLPerf 벤치마크 6개를 모두 실행하는 유일한 엣지 액셀러레이터였다.

오린은 젯팩 SDK(JetPack SDK)를 통해 데이터 센터와 클라우드에서 이미 입증된 소프트웨어 스택인 엔비디아 AI 플랫폼 전체를 실행한다. 엔비디아 젯슨 플랫폼을 사용하는 백만명의 개발자가 엔비디아 AI 플랫폼을 지원하고 있다.

엔비디아와 파트너사는 최신 MLPerf 추론 벤치마크의 모든 테스트와 시나리오에서 지속적으로 뛰어난 성능을 보여준다.

MLPerf 벤치마크는 아마존(Amazon), Arm, 바이두(Baidu), 델 테크놀로지스(Dell Technologies), 페이스북(Facebook), 구글(Google), 하버드(Harvard), 인텔(Intel), 레노버(Lenovo), 마이크로소프트(Microsoft), 스탠퍼드(Stanford), 토론토 대학(University of Toronto)을 비롯한 기업과 조직들로부터 지원을 받고 있다.

가장 폭넓은 파트너사, 가장 많은 결과 제출

엔비디아 AI 플랫폼은 역대 가장 광범위한 파트너 생태계로부터 가장 많은 MLPerf 결과를 제출하도록 이끌었다.

애저(Azure)는 지난 12월 MLPerf 트레이닝 테스트에서 첫 선을 보인 후, 이번 AI 추론 라운드에서 강력한 결과를 이어갔다. 애저는 두 테스트에서 모두 엔비디아 A100 텐서 코어(Tensor Core) GPU를 사용했다. 애저의 ND96amsr_A100_v4 인스턴스는 거의 모든 추론 테스트에서 최고 성능의 8 GPU 와 맞먹는 결과를 보였으며, 퍼블릭 클라우드에서 쉽게 사용할 수 성능을 보여줬다.

시스템 제조업체 에이수스(ASUS)와 H3C는 이번 테스트에서 엔비디아 AI 플랫폼을 사용한 결과로 MLPerf에 데뷔했다. 이들은 24개 이상의 엔비디아 인증 시스템(NVIDIA-Certified Systems)에 대한 결과를 제출한 시스템 제조업체 델 테크놀로지스(Dell Technologies), 후지쯔(Fujitsu), 기가바이트(GIGABYTE), 인스퍼(Inspur), 네트릭스(Nettrix), 슈퍼마이크로(Supermicro)에 합류했다.

MLPerf가 중요한 이유

엔비디아 파트너사는 MLPerf가 AI 플랫폼 및 공급업체를 평가하는 고객에게 유용한 툴이라는 것을 알기 때문에 MLPerf에 참여한다.

MLPerf의 다양한 테스트는 오늘날 가장 인기 있는 AI 워크로드와 시나리오를 다룬다. 이를 통해 사용자는 벤치마크가 작업 전반에 걸쳐 기대 성능을 반영할 수 있다는 확신을 가진다.

추론을 지원하는 소프트웨어

테스트에 사용된 모든 소프트웨어는 MLPerf 저장소에서 이용할 수 있다. 추론 결과를 가능케 한 두 가지 핵심 요소는 AI 모델 최적화를 위한 엔비디아 텐서RT(TensorRT)와 효율적인 배포를 위한 엔비디아 트리톤 인퍼런스 서버(Triton Inference Server)로, GPU 최적화 소프트웨어 카탈로그 NGC에서 무료 이용 가능하다.

아마존과 마이크로소프트와 같은 클라우드 서비스 제공업체를 포함해 전 세계의 수많은 단체들이 트리톤을 채택하고 있다.

엔비디아는 지속적으로 모든 최적화 기능을 NGC에서 이용 가능한 컨테이너에 추가한다. 이를 통해 모든 사용자가 최고의 성능으로 AI를 프로덕션에 도입할 수 있다.