통계공부합니다

2024.04.05 - [Programming/Python] - [Python] PyTorch에서 신경망 모델 정의 [Python] PyTorch에서 신경망 모델 정의PyTorch에서 신경망 모델 정의 오늘은 파이토치(PyTorch)에서 모델을 정의하는 방법에 대해 알아볼거에요. 모델 정의에 필요한 개념인 계층(Layer), 모듈(Module), 모델(Model)에 대해 먼저 알아볼게요. 계meowstudylog.tistory.com 이전 포스팅에서 파이토치(PyTorch)를 활용해서 신경망 모델을 정의하는 방법에 대해 알아보았다.이번 포스팅에서는 신경망 모델 파라미터인 손실함수(Loss function), 옵티마이저(Optimizer), 학습률 스케줄러(Learning rate scheduler), 지..

1. 손실함수 (Loss function)머신러닝에서 모델을 학습한다는 말은 예측값과 실제값의 오차를 최소화하는 모델 파라미터를 찾는 것이라고 할 수 있다. 여기서 말하는 오차(Error)를 손실(Loss) 또는 비용(Cost)이라고도 하고,오차를 정의한 함수를 손실함수(Loss function) 또는 비용함수(Cost function)이라고 한다. 대표적인 손실함수로는 MSE, RMSE 등이 있는데 일반적인 선형 회귀의 성능 지표로 잘 알려져있다.이진크로스엔트로피(binary cross entropy)도 분류 문제에서 일반적으로 사용되는 손실함수이고, 그 밖에도 오차를 정의하는 여러 함수들이 존재한다. MSE, Mean Square Error$$\frac{1}{n}\sum^{n}_{i=1}(y_i=\h..