XGBoost

XGBoost (2016) : eXtreme Gradient Boosting (https://arxiv.org/pdf/1603.02754)

Optimized version of GBM enabling 

성능의 저하는 약간은 있을 수 있으나(approximate), 데이터를 더 많이 사용하고, 병렬처리함

 

Scalability (확장성) : 다양한 분야에 활용

tree boosting, split finding algorithm, system design

가능한 모든 경우의 수를 탐색(Greedy)하여 최적의 해를 찾아야 하고 병렬처리가 안됨

 

전체영역을 몇개로 분할하여 split point를 찾아

Approximate를 적용하면 더 빨리 best split point를 찾을 수 있다. 그러나 못찾을수도 있다.

 

ε(epsilon)

 

 

 

 

 

Split Finding Algorithms

 

System Design

 

그외 사항