통계공부합니다

이전 포스팅에서 앙상블 기법의 여러 종류에 대해 다루어 보았다.2024.05.20 - [Data Science/Ensemble] - [ML/DL] Ensemble (앙상블 기법) [ML/DL] Ensemble (앙상블 기법)Ensemble (앙상블 기법)  이번 포스팅에서는 분류 예측 문제를 다룰 때 자주 사용되는 앙상블 기법에 대해 알아보고자 한다.앙상블 기법이 무엇인지 개념을 알아보고, 어떤 종류가 있는지 알아보meowstudylog.tistory.com 이번 포스팅에서는 Boosting 기법 중 하나인 GBM (Gradient Boosting Algorithm)에 대해 알아보도록 하겠다.   1. GBM (Gradient Boosting Machine) GBM은 경사하강법(Gradient Desce..

Ensemble (앙상블 기법)  이번 포스팅에서는 분류 예측 문제를 다룰 때 자주 사용되는 앙상블 기법에 대해 알아보고자 한다.앙상블 기법이 무엇인지 개념을 알아보고, 어떤 종류가 있는지 알아보도록 하겠다.  1. 앙상블 기법이란?여러 개의 분류 모델을 결합해서 최적의 모델을 만드는 방법을 앙상블 기법이라고 한다.   여러 모델을 결합한 앙상블 모델은 단일 모델보다 더 뛰어난 성능을 보이고, 보다 일반화(generalized)된 모델이기 때문에 과적합(overfitting) 문제를 감소시킨다는 장점이 있다. 이론적으로는 M개의 독립적인 단일 모델을 결합한 앙상블 모델의 오류가 M개 모델 평균 오류의 1/M 수준으로 감소하는데, 현실적으로는 독립성 가정이 지켜지지 않는 경우가 많기 때문에, 앙상블 모델의..