[통계] 회귀 모형 손실 함수 (MAE vs. RMSE vs. MSE)

 

이번 포스팅에서는 회귀모형 성능 평가 지표로 사용되는 손실함수(loss function)인 MAE, RMSE, MSE에 대해 알보겠다. 각각의 특징과 차이점에 대해 알아보고자 한다.

1. MAE (Mean Absoluted Error)

 

예측값과 실제값의 차이의 절대값의 평균이다.

 

$$MAE = \frac{1}{n}\sum^{n}_{i=1}|y_i=\hat{y_i}|$$

 

• MSE, RMSE에 비해 이상치의 영향을 크게 받지 않는다. (모든 오차에 동일한 가중치를 부여)
• 오차가 0인 지점에서 뾰족한 형태(첨점)를 띄며 미분 불가능하다.

 

2. MSE (Mean Squared Error)

예측값과 실제값의 차이의 제곱의 평균이다.

 

$$MSE = \frac{1}{n}\sum^{n}_{i=1}(y_i-\hat{y_i})^2$$

• 오차에 제곱을 취하기 때문에 이상치에 민감하다. 제곱의 특성 상 -1~1사이의 값엔 작은 가중치를,
  절대값이 1보다 클수록 높은 가중치를 부여하게 된다.
• 제곱 단위를 사용하게 되어 직관적인 해석이 어렵다.
• 모든 지점에서 미분 가능하다.

 

 

3. RMSE (Root Mean Squared Error)

 

오차 제곱합을 표본 수로 나눈 MSE에 Root를 씌운 것이다.

 \[ \text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2} \]

• MSE와는 달리 원래 데이터와 동일한 단위를 가져 직관적인 해석이 가능하다.
• 이상치에 민감하지만, MSE보다는 덜 민감하다.
• MAE처럼 첨점을 가지게 되고, 이 지점에서 미분 불가능하다.

차이점을 요약하자면,

• 민감도: MAE는 이상치에 덜 민감하고, MSE와 RMSE는 이상치에 더 민감하다.
• 해석: MAE는 직관적이고, MSE는 제곱 단위로 해석이 어려우며, RMSE는 원래 데이터와 같은 단위로 해석이 용이하다.
• 계산 방식: MAE는 절대값을 사용하고, MSE는 제곱을 사용하며, RMSE는 MSE의 제곱근을 사용한다.
• 미분 가능 : MAE와 RMSE는 오차가 0인 지점에서 미분 불가능하며, MSE는 모든 지점에서 미분 가능하다.