SVM (Support Vector Machine)

Support Vector Machine

고차원 분류에 높은 성능

train error가 줄면 test error도 줄어드는 generalization ability가 좋음

hyperplane : 4차원이상

margin을 최대화하면 test error는 최소화된다는 것

SVM의 hyperplane분리기준

Margin

Margin을 w-norm으로 표현

Lagrangian Formulation

목적식과 제약식을 합쳐서 표현

 

 

Hard Margin SVM  : 선형으로 분리하는 SVM , Linearly Separable case

Soft Margin SVM  : 선형으로 분리할 수 없는 SVM , Linearly Nonseparable case, 약간의 에러를 허용

ξ : 허용하는 에러

Soft Margin SVM 

Bayes error는 비교하기위해 넣음

 

Lagrangian Fomulation

Lagrangian Dual

 

Kernel Methods for Nonlinear Classification

비선형

 

Transforming data

고차원으로 변환하여 선형SVM을 적용

1차원에서는 직선으로 분리가 안되나 2차곡선으로 변환하면 직선으로 분리가능하다

 

 

Mapping Original space to Kernel space

Φ를 고차원으로 바꿈

Kernel Mapping

 

Kernel functions 종류

예제) kenel function을 이용한 비선형SVM

Kernel function 선택

잘맞는 kernel을 try and error로 찾아야 됨

polynomial은 4차 미만을 주로 사용

Radial이 더 잘맞는 경우

Radial이 더 잘맞는경우