6️⃣

6장 Maximum Likelihood Methods (1)

6장

Likelihood (우도) Log-Likelihood

Likelihood 가 가진 뜻인 무엇일까요? 더 나아가서 이것이랑 Probability 의 차이는 무엇일까요?

그것에 대해서 알아볼 겁니다.

Probability 란 어떠한 분포 내에서 데이터가 가질 확률 입니다.

Likelihood 란 데이터가 어떠한 분포를 따라갈 측도를 수치로 표현했다고 생각하시면 됩니다.

위의 그림과 같이 데이터가 xx 로 주어졌으면 확률 값들을 해당 분포에서의 값이라고 표현을 하겠습니다. 위의 그림과 아래 그림을 비교하면 xx 값이 19,21,24,26,2919, 21, 24, 26, 29 일 때에 아래 그림의 경우 확률이 거의 00 이지만 위의 그림은 그렇지 않습니다. 이 값들까지 모두 고려한 것이 Likelihood 이며 저희의 목표는 이 Likelihood 를 최대화 시키는 분포를 찾는 것입니다.

최대화 시키는 분포를 찾는다는 것은 다른 말로 어떤 분산 값을 쓰면 좋을까? 어떤 평균 값을 쓰면 좋을까? 에 대한 질문들이며 이것을 모수 (Parameter) 를 뭘로 사용하면 좋을까? 에 대한 질문들을 답하기 위해서 Maximum Likelihood Estimation 을 배운다고 생각하시면 됩니다.

그럼 수식어로 표현하면 어떻게 될까요? 수식어로는 다름이 아니라 Joint PDF 으로 표현이 되며 Likelihood Function 은 다음과 같습니다.

L(θ;x)=∏i=1nf(xi;θ),θ∈ΩL(\theta; x) = \prod_{i=1}^{n} f(x_i ; \theta), \quad \theta \in \Omega

여기에서 유의할 것은 바로 ∑\sum 이 아니라 ∏\prod 즉 각 PDF 들을 더한 것이 아니라 곱한 것입니다. 근데 모두에 의해서 더하면 당연히 값이 너무 커지겠죠? 그래서 저희는 로그 함수를 사용합니다.

로그 함수는 Monotone 하기 때문에 θ\theta 값을 구하는데에 변동성이 없습니다. 추가적으로 곱한 것을 덧셈으로 바꿔줄 수 있기에 굉장히 유용합니다.

l(θ;x)=log⁡(L(θ;x))=log⁡(∏i=1nf(xi;θ))=∑i=1nlog⁡(f(xi;θ))l(\theta ; x) = \log(L(\theta;x)) = \log\left(\prod_{i=1}^{n}f(x_i; \theta) \right) = \sum_{i=1}^{n}\log\left(f(x_i;\theta) \right)

Regularity Conditions

저희가 수리통계학 2 에서 MLE 를 계산하기 위한 조건들입니다.

수리통계학 2 강의 내에서는 크게 생각하지는 않아도 되지만 어떤 정리들은 이 Regularity Conditions 들이 있어야지만 가능한 정리들이 존재하기 때문에 외우시는 것을 추천하긴 합니다.

Regularity Conditions (R0) - (R2)

(R0) The cdfs are distinct; i.e., θ≠θ′→F(xi;θ)≠F(xi;θ′)\theta \ne \theta^\prime \rightarrow F(x_i ; \theta) \ne F(x_i ; \theta^\prime)

(R1) The pdfs have common support for all θ\theta

(R2) The point θ0\theta_0 is an interior point in Ω\Omega

Theorem 6.1.1

θ0: The True ParameterE⁡θ0[f(Xi;θ)/f(Xi;θ0)]: exists\theta_0 : \text{ The True Parameter} \\ \operatorname{E}_{\theta_0}\left[f(X_i;\theta) / f(X_i;\theta_0) \right] : \text{ exists}

위의 가정들과 (R0) and (R1) 조건들 아래에 다음과 같은 정리를 사용할 수 있습니다.

lim⁡n→∞P⁡θ0[L(θ0,X)>L(θ,X)]=1, for all θ≠θ0\lim_{n \rightarrow \infty} \operatorname{P}_{\theta_0} \left[L(\theta_0, \boldsymbol{X}) > L(\theta, \boldsymbol{X}) \right] = 1, \quad \text{ for all } \theta \ne \theta_0

증명은 굳이 안하겠습니다. 이것이 의미하는 것은 바로 (R0) 와 (R1) 조건들 아래에서는 θ0\theta_0 에서는 우도함수 Likelihood 가 최대화된다는 것입니다.

MLE

θ^=θ^(X)\hat{\theta} = \hat{\theta}(\boldsymbol{X}) 는 다음 조건이 맞으면 θ\theta 의 Maximum Likelihood 이라고 불립니다.

θ^=Argmax  L(θ;X)\hat{\theta} = Argmax\; L(\theta; \boldsymbol{X})

이것은 만약에 로그 우도함수 l(θ)l(\theta) 가 미분이 가능하다면 다음을 만족시키는 θ\theta 값을 구하면 끝이라는 것을 알 수가 있습니다.

∂l(θ)∂θ=0\frac{\partial l(\theta)}{\partial \theta} = 0

참고로 미분해서 구하는 거면 우선은 Likelihood Function 이 Concave 한지를 먼저 확인해야 하며 이것은 2번 미분을 통해서 간단히 확인이 가능합니다.

Theorem 6.1.1 을 이용해도 무방합니다 (즉 (R0) - (R1) 이 만족되는지 확인하면 되긴 합니다)

추가적으로 가끔씩 미분을 시켜도 θ\theta 값이 안 나오는 경우가 있습니다. 이럴 때는 θ^\hat{\theta} 가 Argmax 인 것을 생각하면 됩니다. Argmax 이라는 것은 Likelihood 식을 최대화 시키는 θ\theta 값을 의미하기 때문에 θ\theta 에 대한 Support 를 다시 생각하면 됩니다!

Theorem 6.1.2 (Invariance Property)

어떠한 함수 gg 가 있으며 저희가 관심있는 모수는 η=g(θ)\eta = g(\theta) 라고 가정하겠습니다.

X1,⋯ ,Xn∼iidf(x;θ),θ∈ΩX_1, \cdots, X_n \stackrel{iid}{\sim} f(x; \theta), \quad \theta \in \Omega

θ\theta 의 MLE 가 θ^\hat{\theta} 라고 주어졌다면, η=g(θ)\eta = g(\theta) 의 MLE 는 g(θ^)g(\hat{\theta}) 이라고 둘 수 있습니다.

쉽게 생각해서 Continuous Mapping Theorem 이랑 비슷하다고 생각하면 됩니다.

Theorem 6.1.3

MLE 의 Consistency 가 Regularity Conditions (R0)-(R2) 가 만족된다면 만족이 됩니다!

θ^n→Pθ0\hat{\theta}_n \xrightarrow{P} \theta_0

증명은 넘기겠습니다.

Additional Regularity Conditions

(R3) The pdf f(x;θ)f(x; \theta) is twice differentiable as a function of θ\theta

(R4) The integral ∫f(x;θ)dx\int f(x; \theta) dx can be differentiated twice under the integral sign as a function of θ\theta

Fisher Information
I(θ)=Var⁡(∂log⁡f(X;θ)∂θ)=∫−∞∞(∂log⁡f(x;θ)∂θ)2f(x;θ)dx=−∫−∞∞∂2log⁡f(x;θ)∂θ2f(x;θ)dx=−E⁡[∂2log⁡f(x;θ)∂θ2]\begin{aligned}I(\theta) & =\operatorname{Var}\left(\frac{\partial \log f(X ; \theta)}{\partial \theta}\right) \\& =\int_{-\infty}^{\infty}\left(\frac{\partial \log f(x ; \theta)}{\partial \theta}\right)^2 f(x ; \theta) d x \\& =-\int_{-\infty}^{\infty} \frac{\partial^2 \log f(x ; \theta)}{\partial \theta^2} f(x ; \theta) d x \\ & = -\operatorname{E}\left[\frac{\partial^2 \log f(x ; \theta)}{\partial \theta^2} \right] \end{aligned}

이게 Fisher Information 이다 외우시면 됩니다.

Score Function

Fisher Information 을 보면

Var⁡(∂log⁡f(X;θ)∂θ)\operatorname{Var}\left(\frac{\partial \log f(X ; \theta)}{\partial \theta} \right)

이 있습니다. 여기에서 분산 부분 안에 있는 것이 Score function 입니다.

정리하자면

Score Function =∂log⁡f(X;θ)∂θ\text{Score Function } =\frac{\partial \log f(X ; \theta)}{\partial \theta}

입니다.

Rao-Cramer Lower Bound
X1,⋯ ,Xn∼iidf(x;θ),θ∈ΩX_1, \cdots, X_n \stackrel{iid}{\sim} f(x; \theta), \quad \theta\in\Omega

(R0)-(R4) 가 해당이 된다고 가정하겠습니다.

Y=u(X1,⋯ ,Xn)Y = u(X_1, \cdots, X_n) 의 저희의 통계량이며 이것의 Mean 은 다음과 같다고 가정하겠습니다.

E⁡(Y)=E⁡[u(X1,⋯ ,Xn)]=k(θ)\operatorname{E}(Y) = \operatorname{E}\left[u(X_1, \cdots, X_n) \right] = k(\theta)

그러면 분산은 다음과 같이 둘 수가 있습니다.

Var⁡(Y)≥[k′(θ)]2nI(θ)\operatorname{Var}(Y) \geq \frac{\left[k^{\prime}(\theta)\right]^2}{n I(\theta)}

여기에서 특징이 바로 저 k(θ)k(\theta) 값인데요, 해당 강의에서는 Corollary 6.2.1 에 의해서 E⁡[Y]=θ\operatorname{E}[Y] = \theta 즉 Unbiased Estimator 이면 k(θ)=θk(\theta) = \theta, k′(θ)=1k^{\prime}(\theta) = 1 으로 그저 분자를 11 로 세우면 됩니다.

그럼 이것이 의미하는건 뭘까요? 바로 저희의 통계량 YY 의 분산을 위와 같이 Lower Bound 가 있게끔 표현이 가능하다는 것입니다.

굉장히 중요한 개념입니다! 이거는 외우신다기 보다는 이해를 하시는 것을 추천합니다.

Efficient Estimator

Efficient 한 Estimator 는 Estimator 인 YY 의 분산, 즉 Var⁡(Y)\operatorname{Var}(Y) 가 최소값 (Lower Bound) 인 1nI(θ)\frac{1}{n I(\theta)} 와 같다는 것입니다.

즉 만약에 다음이 만족이 되면 저희는 YY 를 Efficient Estimator 이라고 불릴 수가 있다는 것입니다.

Var⁡(Y)=[k′(θ)]2nI(θ)\operatorname{Var}(Y) = \frac{\left[k^{\prime}(\theta)\right]^2}{n I(\theta)}

Efficient 하다고 이름이 불리는 이유는 가장 분산이 적기 때문에 가장 효율이 좋은 추정량이라는 의미를 가지고 있습니다.

5th Regularity Condition

The pdf f(x;θ)f(x;\theta) is three times differentiable as a function of θ\theta. Further, for all θ∈Ω\theta \in \Omega, there exist a constant cc and a function M(x)M(x) such that

∣∂3∂θ3log⁡f(x;θ)∣≤M(x),\left|\frac{\partial^3}{\partial \theta^3} \log f(x ; \theta)\right| \leq M(x),

with Eθ0[M(X)]<∞E_{\theta_0}[M(X)]<\infty, for all θ0−c<θ<θ0+c\theta_0-c<\theta<\theta_0+c and all xx in the support of XX.

Asymptotic Normality

X1,⋯ ,Xn∼iidf(x;θ0),θ0∈ΩX_1, \cdots, X_n \stackrel{iid}{\sim} f(x;\theta_0), \quad \theta_0 \in \Omega 이며 (R0)-(R5) 가 만족됐다고 가정하겠습니다.

그리고 0<I(θ0)<∞0 < I(\theta_0) < \infty 가 만족된다고 또 가정을 하겠습니다.

그러면 MLE 에 대한 모든 식은 다음을 만족합니다.

n(θ^−θ0)→DN(0,1I(θ0))\sqrt{n}\left(\widehat{\theta}-\theta_0\right) \xrightarrow{D} N\left(0, \frac{1}{I\left(\theta_0\right)}\right)

증명은 Taylor Series 을 활용하며 수업 시간 내에서 자세히 다루기에 해당 내용은 다루지 않겠습니다.