선형회귀모델 Regression

X와 Y의 관계

 - 확정적관계 : Y=f(x)

 - 확률적관계 : Y = f(x) + ε

 

선형회귀모델 종류

 

잔차(Residual)

잔차(e)는 오차(ε)가 실제로 구현된 값

 

estimator(추정량) : 샘플의 함수

 - 알려지지 않은 파라미터를 추정하는 용도

 - 점추정, 구간추정

최소제곱 추정량(estimator)

점추정  point estimator

가장 잘맞는 불편추정량 - 가우스마코프 증명

구간추정 Interval estimation

: 구간으로 추정하여 보다 유연한 정보 제공

 

가설검정

 

회귀분석 결과

 

R squared 결정계수 Coefficient of Determimation

 

 

 

R squared 의 의미

 - X변수가 Y변수의 분산을 얼마나 줄였는지

 - 단순히 Y평균값을 쓰는 것 대비 X 변수를 사용함으로써 얻는 성능향상 정도

 - X변수의 품질

 

수정 R squared

R^2 문제점

n : 관측치의 수, p : 변수의 수