Memristor 교육으로 AI 에너지 비용 절감

중국 연구원들은 멤리스터 하드웨어에 대한 확률적 업데이트를 활용하여 AI 훈련 에너지 사용을 대폭 줄여 초효율 전자 장치의 길을 닦았습니다.



중국 과학자들이 멤리스터 하드웨어를 사용하여 에너지를 많이 소비하는 AI 모델을 훈련하는 획기적인 방법을 공개했습니다. 이는 기존 GPU 기반 훈련에 비해 에너지 소비를 거의 6배 정도 줄입니다.그들의 새로운 접근 방식은 멤리스터 기반 신경망의 오랜 하드웨어-소프트웨어 불일치 문제를 해결하고 차세대 AI 전자 장치의 에너지 프로필을 재구성할 수 있습니다.

발전의 핵심에는 신경망 훈련에 사용되는 경사 기반 가중치 업데이트와 멤리스터 장치의 시끄럽고 예측할 수 없는 동작을 정렬하는 EaPU(오류 인식 확률 업데이트) 알고리즘이 있습니다.기존의 역전파는 모델 가중치에 대해 작고 정밀한 조정을 수행하지만 저장과 처리를 결합한 멤리스터 아날로그 장치는 이러한 세밀한 변경을 압도하는 쓰기 노이즈와 드리프트로 인해 어려움을 겪습니다.EaPU 전략은 이러한 소음과 싸우는 대신 확률론을 수용합니다. 즉, 장치의 소음 임계값 미만의 업데이트를 건너뛰는 동시에 더 큰 무게 이동을 확률적으로 적용하여 쓰기 횟수를 99% 이상 줄이고 에너지 사용량을 극적으로 줄입니다.

팀은 실험적인 180 nm 멤리스터 어레이, 이미지 노이즈 제거를 위한 훈련 네트워크 및 기존 훈련 방법과 동등하거나 더 나은 품질을 갖춘 초해상도를 위한 훈련 네트워크에서 그들의 방법을 검증했지만 에너지는 극히 일부만 사용했습니다.152 레이어 ResNet 및 Vision Transformer를 포함한 대규모 네트워크를 시뮬레이션으로 테스트한 결과 표준 접근 방식에 비해 잡음이 많은 하드웨어에서 60%를 초과하는 정확도 향상을 보여주었습니다.

에너지 절약 외에도 감소된 업데이트 빈도는 장치 수명을 약 1,000배 연장하여 상업용 멤리스터 시스템의 주요 장애물을 완화합니다.이전의 멤리스터 훈련 방식과 비교하여 EaPU는 훈련 에너지를 약 50배, 기존 최고의 최적화 알고리즘에 비해 약 13배를 절감합니다.

연구원들은 이 기술이 강유전성 트랜지스터 및 자기 저항 RAM과 같은 다른 메모리 기술로 확장될 가능성이 있으며 에너지 비용이 전략적 관심사인 대규모 AI 훈련 클러스터까지 확장될 수 있는 광범위한 응용 분야를 보고 있습니다.이 작업이 확장되고 상용화되면 지속 가능하고 에너지 효율적인 AI 전자 장치를 실용적인 현실로 만드는 데 도움이 될 수 있습니다.