XGBoost 기반의 조기 중지를 활용한 광고 클릭 예측 방안

Abstract

웹 사이트 및 소셜 미디어 플랫폼에 특정 사용자가 광고를 클릭하는지 예측하는 머신러닝 알고리즘으로 데이터훈련을 지속적으로 시킬수록 트레이닝 데이터 셋은 성능이 향상되는 반면에 테스트 데이터 셋은 고정된 횟수의학습 반복 후에 성능이 향상되지 않는 과적합 문제가 발생한다. 이 논문에서 과적합을 피하기 위해 기존 알고리즘보다 XGBoost 알고리즘[1]을 기반으로 학습 프로세스의 조기 중지를 제안한다. XGBoost는 복잡한 데이터 모델을훈련시켜 과적합[2]을 피하는 방법이며, 별도의 테스트 데이터 군집에서 학습되는 모델의 성능을 모니터링하고 고정된 횟수의 교육 반복 후에 테스트 데이터 집합의 성능이 향상되지 않은 경우 교육 절차를 중지한다. 테스트 데이터 셋의 성능이 감소하기 시작하는 변곡점을 자동으로 선택하여, 모델의 과적합에 따라 트레이닝 데이터 셋의성능이 계속 향상되는 과적합을 피하면서 정확도를 구현하였다. 마지막으로 실험 결과 Logistic Regression 알고리즘, Decision Tree 알고리즘과 비교하여 XGBoot 알고리즘 기반의 성능 향상을 확인할 수 있었다.

Continuous data training on websites and social media platforms with machine learning algorithms that predict if a particular user clicks on ads results in better performance for training datasets, while test datasets experience overfitting problems that do not improve after a fixed number of learning iterations. In this paper, we propose an early stop of the learning process based on the XGBoost algorithm rather than the existing algorithm to avoid overfitting. XGBoost is a method to avoid overfitting by training complex data models, monitoring the performance of the models learned in a separate cluster of test data and stopping the training procedure if the performance of the test dataset has not improved after a fixed number of training iterations. We automatically select inflection points where the performance of the test dataset begins to decrease, thus implementing accuracy while avoiding overfitting, which continues to improve the performance of the training dataset according to the model's overfitting. Finally, the experimental results showed performance improvements based on the XGBoot algorithm compared to the Logistic Regression algorithm and the Decision Tree algorithm.