최대우도법(MLE, Maximum Likelihood Estimation)

최대우도법

 

어떤 확률변수에서 표집한 값들을 토대로 각 가설마다 계산된 우도값 중 가장 큰 값을 고르는 통계적 추정방법

우리가 알고 싶은 데이터 Θ(모수)가 있다고 할 때, 여러 관측치들을 통해서 그러한 관측치가 나오게 하는 가장 그럴 듯한 값(가능성이 높은 값)을 추정하는 것.

 ※ likelihood function을 최대화하는 것

 

예시) 남자들로 구성된 한 집단의 몸무게(x)를 측정한 다음 평균과 분산(파라미터 θ)을 추정하고자 한다.

 

- 어떤 분포가 더 잘 어울릴까? , 단 정규분포(주어진 PDF, 확률밀도함수)를 따른다고 가정한다.

  바꿔서 말하면 어떤 평균과 분산값이 가장 이 데이터를 잘 표현하는가를 찾는 것이다.

 

우도 Likelihood

우도(likelihood)는 데이터가 이 분포로부터 나왔을 가능도

 

확률과 우도

확률 : 분포가 정해지고, 분포의 모수(평균, 분산등)이 정해졌을 때 관측치가 나올 가능성

우도 : 분포가 정해지고, 관측치가 정해졌을때 모수(평균, 분산등)가 나올 가능성

 

likelihood 기여도 (점선)

 

우도함수 likelihood function

수치적으로 이 가능도(우도)를 계산하는 것으로, 각 데이터 샘플에서 후보 분포에 대한 높이(즉, likelihood 기여도)를 다 곱하는 함수이다. 모든 데이터들의 추출이 독립적이기에 곱해준다.

likelihood function

보통은 자연로그를 적용해 log-likelihood function으로 많이 사용한다.

Log-likelihood function

 

위 식의 결과 값이 가장 커지는 θ를 구해야 하므로 미분을 취해 0이 되는 θ를 찾는다.

 

최대우도법으로 평균을 찾음

 

최대우도법으로 표준편차를 찾음

 

예시) 정규분포를 가정하였을때 우도함수(likelihood function)는?

평균 μ와 분산 σ2를 모르는 정규분포에서 표본 x1,x2,⋯,xn을 추출했을 때, 이 값을 이용해서 모분포의 평균과 분산을 추정

정규분포 PDF

정규분포 우도함수(likelihood function)

정규분포 로그우도함수(log-likelihood function)

 

1. 모평균 추정

 

L(θ|x)를 μ에 대해 편미분하면,

최대우도를 만들어주는 모평균의 추정량은

2. 모분산 추정

 

L(θ|x)를 표준편차 σ로 편미분하면

최대우도를 만들어주는 모분산의 추정량은