customizing
-
XGBoost Custom Objective and Evaluation MetricMachine Learning & Deep Learning 2020. 6. 9. 00:54
먼저 XGBoost가 무엇인지, 모델 학습에 있어서 objective function이 지니는 의미는 무엇인지 간단히 짚고 가겠다. XGBoost는 eXtreme Gradient Boosting의 약자로, AdaBoost, Gradient Tree Boosting과 같은 Boosting 계열 algorithm이다. 여기서 Boosting이란 Bagging과 더불어 Ensemble(앙상블) 기법들 중 하나를 말한다. Bagging은 parallel하게(병렬적으로) model을 학습하고, 각 model의 결과를 최종 결정에서 고려하는 반면, Boosting은 연속적으로 이전 model의 결과를 고려하는 방식이다. 즉 model들이 서로 dependent하다. * Ensemble이란 여러 개의 weak lea..