Untether AI, AI 추론 가속기 카드 용 Von Neumann 아키텍처 재고

데이터를 이동하도록 설계된 기존의 Von Neumann 아키텍처 대신 tsunAImi 가속기 카드에 사용되는 run200AI 장치는 계산 용으로 설계되었습니다. 처리 요소는 분산 처리 배열을 만들기 위해 메모리 내부에 있습니다.

runAI200 장치는 정수 데이터 유형과 1의 배치 모드를 사용합니다. 메모리 뱅크에는 512 개의 처리 요소로 구성된 2D 어레이와 함께 385kbyte의 SRAM이 있습니다. 칩당 511 개의 뱅크가 있으며 결합하여 장치 당 200MB를 제공합니다. 작동은 '스포츠'모드에서 최대 502 TOPS입니다. '에코'모드로 구성되어 8TOPS를 제공합니다.

액셀러레이터 카드의 컴퓨팅 성능은 배치 = 1에서 80,000fps 이상의 ResNet-50 v 1.5 처리량 또는 가장 가까운 경쟁 업체의 처리량의 3 배에 해당한다고 회사는 말합니다. 자연어 처리를위한 또 다른 벤치 마크 테스트에서 가속기 카드는 BERT 기반의 초당 12,000 개 이상의 쿼리를 처리 할 수 ​​있다고 회사는 말합니다. 이것은 발표 된 어떤 제품보다 4 배 더 빠르다고 말합니다.

runAI200 장치는 비용 효율적인 16nm 공정을 사용하여 제조됩니다.

추론을위한 AI는 데이터 센터에서 중요한 요소가 될 것이며, 컴퓨팅 밀도는 스마트 시티와 기타 AI 및 기계 학습 애플리케이션의 성능을 가속화 할 것입니다.

tsunAImi 가속기 카드는 클라우드 또는 서버에서 사용하기위한 표준 폼 팩터 PCI Express 카드입니다. 기계 학습을위한 TensorFlow 및 PyTorch 개방형 소프트웨어를 지원합니다.

가속기 카드와 함께 Untether AI imAIgine 소프트웨어 개발 키트 (SDK)에는 푸시 버튼 양자화, 최적화, 물리적 할당 및 다중 칩 파티셔닝이 있습니다. 또한 시각화 툴킷, 정확한주기 시뮬레이터 및 통합을위한 런타임 API를 제공합니다.

tsunAImi 가속기 카드는 현재 샘플링 중이며 2021 년 1 분기에 상용화 될 예정입니다. imAIgine SDK는 일부 고객 및 파트너와 함께 조기 액세스 할 수 있습니다.