6장 Maximum Likelihood Methods (2)

$X_1, \cdots, X_n \stackrel{iid}{\sim} f(x;\theta_0), \quad \theta_0 \in \Omega$ 이며 (R0)-(R5) 가 만족됐다고 가정하겠습니다.

그리고 $0 < I(\theta_0) < \infty$ 가 만족된다고 또 가정을 하겠습니다.

그럼 $\frac{\partial l(\theta)}{\partial \theta} |_{\theta = \hat{\theta}_n} = 0$ 와 $\hat{\theta}_n \xrightarrow{P} \theta_0$ 이 만족됩니다.

그러면 MLE 에 대한 모든 식은 다음을 만족합니다.

증명은 Taylor Series 을 활용하며 여기에서는 안 다룰 예정입니다.

이것을 활용해서 신뢰구간을 구축하는 방법도 알아야 됩니다!

위의 Asymptotic Normality 가 해당이 된다고 가정하겠습니다. 그러면 Delta Method 과 비슷하게 다음이 만족됩니다.

그럼 Invariance Property 가 의미하는 것은 구체적으로 뭘까요? 바로 만약에 $\hat\theta$ 가 $\theta$ 의 MLE 이면,

$g(\hat\theta)$ 가 $g(\theta)$ 의 MLE 가 되는 것입니다!

Then,

a.) Asymptotic Efficiency of $\hat\theta_{1n}$ is

b.) $\hat\theta_{1n}$ is Asymptotically Efficient, if

c.) $\hat\theta_{2n}$ is another estimator, where

Then the Asymptotic Relative Efficiency (ARE) of $\hat\theta_{1n}$ to $\hat\theta_{2n}$ is

우선은 지금부터 검정의 단계로 들어가기 때문에 검정에 대해서 간단히 리뷰하곘습니다.

검정 중에서 1종 오류와 2종 오류가 있습니다.

저희는 1종 오류가 더 중요하다고 생각해서 항상 귀무가설이 사실 (Under $H_0$) 에서 검정을 진행해왔습니다. 이것을 통해서 검정통계량을 만들고, 기각역을 설정하고 통계적 결론을 설립했습니다. 그렇다면 2종 오류는 어떻게 할까요? 그것은 8장에서 배울 것이며 검정력 (Power) 이란 개념을 나중에 배우게 될 것입니다.

해당 장에서 중요한 점은 검정이란 무엇이고, Under $H_0$ 이라는 점입니다.

저희는 모수 $\theta$ 의 추정량 (Estimator) 인 $\hat\theta$ 에 대해서 추정을 하며, 해당 추정량은 모수가 아니라 모수를 추정하기 위한 Estimate 이라고 구축을 해왔습니다.

그렇다면 이 추정량이 실제 모수랑 정확한지 알기 위해서는 무엇을 해야할까요? 바로 검정 (Test) 입니다.

검정에 대한 가설을 구축하게 된다면 위와 같이 구축이 가능합니다. 그렇다면 가설이 세워졌으면 저희는 보통 검정통계량을 세워야 합니다. 그렇다면 어떤 검정통계량을 써야 할까요?

돌이켜보면 만약에 $\theta_0$ 이 True Parameter 이면 $L(\theta_0)$ 은 우도 함수의 최댓값 입니다. 그렇기 때문에 만약에 $\hat\theta$ 값이 $\theta_0$ 과 똑같으면, 둘의 우도함수 값, 즉 $L(\theta_0) = L(\hat\theta)$ 이며 이것을 다르게 보면

입니다.

당연히 여기에서는 Under $H_0$ 이기에 $\theta$ 의 True Value 는 $\theta_0$ 라고 가정하면서 진행이 됩니다.

이렇게 Likelihood 들의 Ratio 만을 가지고 진행하는 것이 Likelihood Ratio Test 입니다.

하지만 검정통계량은 결국에는 어떤 분포를 따라가야 되며, 현재로서는 어떤 분포를 따르는지는 모릅니다.

오로지 어떠한 상수 값 $\Lambda \le c$ 를 만족하면 $H_0$ 을 기각한다는 점만 알고 있습니다.

즉 문제는 $\alpha = P_{\theta_0}\left[\Lambda \le c \right]$ 를 만족하는 $c$ 를 구하는게 어려우며, 이에 대한 이유는 귀무가설 하에 $\Lambda$ 의 분포를 모르기 때문입니다!

그러면 문제 자체를 조금 바꿔줘야 합니다! Example 6.3.1 를 따라가면 검정통계량을 바꿔주면서 카이제곱 분포로 근사하는 모습을 보이며, 이것은 구체적으로 다루지는 않겠습니다 (이미 수업에서 다루었기에!)

외워야 하는 Test 방법들은 총 3가지이며 이것이 이 장의 핵심 중 반이라고 저는 생각합니다.

각각의 검정통계량 값들을 외우면 좋겠지만, 외우시는게 어려우시면 증명을 이해하시는게 백번 도움이 되실겁니다. 증명을 이해하시면 저절로 외워지게 되기 때문입니다! 그렇기에 증명을 한번쯤은 보시는 것을 추천합니다.

Regularity Conditions (R0) ~ (R5) 를 가정하며 귀무가설 하에서

이 만족이 됩니다. 이것을 이용해서 위의 가설, 즉

를 가설검정하는 것이 가능해집니다!

Reject if

Q: 기존에는 양측검정인데 지금은 왜 단측 검정으로 바뀐거죠?

A: 검정통계량을 우도함수와 연관지어서 보기로 했기 때문에 바뀌어진 것입니다! 결국에 검정하고 싶은 가설은 똑같습니다!

증명을 잠깐 다루자면, Taylor Series Approximation 을 활용해서 증명이 가능합니다.

Asymptotic Normality 에 의하면, Under $H_0$

입니다. 여기에서 저희는 $\hat\theta \xrightarrow P \theta_0$, 그리고 $I(\theta)$ 가 Continuous Function 이라고 가정한다면 Continuous Mapping Theorem 에 의해서 $I(\hat\theta) \xrightarrow P I(\theta)$ 이라는 것도 알 수가 있습니다.

여기에 Slutsky’s Theorem 을 적용하게 된다면,

양쪽 식에 전체를 제곱하게 된다면, $iid$ 라는 가정이 있기 때문에 우측의 경우 $Z^2 \sim \chi^2(1)$ 으로 가게 됩니다. 그래서

가 나오게 됩니다.

저희는 좌측식을 다음과 같이 정의하겠습니다.

그럼 LRT 와 똑같이 귀무가설 하에 (Under $H_0$), 다음이 만족된다면 귀무가설을 기각합니다 (Reject $H_0$)

이것도 똑같이 식을 외워주셔야 됩니다.

Score Function 을 1차 시험 공부하면서 다음과 같이 정의를 했었습니다.

이것들을 모든 $X_i$ 에 대해서 싹다 모으게 된다면 다음과 같이 나옵니다.

여기에서 유의해야할 점이 바로 $S(\theta)$ 내에 있는 Score Function 들은 서로서로 $iid$ 하며 $i$ 에 의존한다는 점입니다. 통계량을 다음과 같이 잡겠습니다.

CLT 가 성립하기 위해서는 $iid$ 하다는 조건이 필요합니다. 현재 $Y_i$ 는 그것을 만족하기 때문에 CLT 에 의해서 다음과 같이 식을 세울 수 있습니다.