Stats & AI tech blog - '일단 시도함'

1. 혼합 정밀도 훈련(Mixed Precision Training)이란? 딥러닝에서는 일반적으로 신경망의 크기가 커질 수록 성능이 향상되는 특징을 가진다. 반면에, 모델이 복잡해질수록 메모리와 컴퓨팅에 대한 문제가 발생하게 된다.혼합 정밀도 훈련(Mixed Precision Training)은 모델의 정확도와 파라미터에 영향을 끼치지 않고, 메모리 요구사항을 줄이고 GPU에서 산술 속도를 높일 수 있는 신경망 훈련 방법이다. 혼합정밀도 훈련은 모델 학습 과정에서 부동 소수점 연산의 정밀도를 혼합하여 사용하는데, 일반적으로는 반 정밀도(16비트 부동 소수점, FP16)와 단 정밀도(32비트 부동 소수점, FP32)를 혼합하여 사용한다. 일반적으로 딥러닝에서는 FP32연산이 사용되는데, FP32연산은 메모..