8장 Optimal Tests of Hypotheses (1)

위의 그림은 처음에 5장 때 자주 보였던 그림이며, 이것은 통계가 정확히 무엇을 하는지에 대해서 알려주는 그림입니다. 추론의 단계에서는 추정, 검정 그리고 예측을 할 수 있으며 앞의 2개가 수리통계학 2 에서 가장 신경을 많이 쓰는 것들입니다.

추론에 있어서 저희는 여태까지 검정에 대해서는 그렇게까지 크게 신경을 쓰지 않았습니다. 하지만 8장의 경우 검정에 대한 모든 것입니다… (화이팅!!)

우선은 검정을 할 때 저희가 어떻게 했었는지를 먼저 알아보겠습니다.

$H_0: \mu = \mu_0 \quad \text{v.s.} \quad H_1 : \mu \ne \mu_0 \rightarrow$ Two-tailed Test,

Reject if $|z| > z_{\alpha/2}$

$H_0 : \mu > \mu_0 \quad \text{v.s.} \quad H_1 : \mu \le \mu_0 \rightarrow$ One-tailed Test,

Reject if $z < -z_{\alpha}$

이것을 모든 검정에 대해서 Generalize 시키면 다 다음과 같은 형태입니다.

$\theta$ 가 저희의 모수이며 $w_0, w_1$ 들이 각각 모수에 관련된 Subset 들이라고 생각하시면 됩니다. 여기에서 당연히 $w_0 \cup w_1 = \Omega$ 이어야 하며 둘은 Disjoint, 즉 $w_0 \cap w_0 = \varnothing$, 입니다.

만약에 표본이 $\bold{X}$ 라고 지칭을 한다면, 이것을 통해서 검정통계량을 구축해서 저희의 가설들을 검정할 수 있게 됩니다.

검정 통계량은 결국에는 $\bold X$ 에 대한 식이며 이것에 대해서 가설검정을 채택하는 영역을 $C$ 라고 부릅니다. 그럼 $C$ 와 $C^c$ 는 Disjoint 하며 $C \cup C^c = S$ 가 되겠죠. 즉, 예시와 함께 다음과 같이 얘기가 가능합니다.

Reject $H_0$ if $X \in C$

Accept $H_0$ if $X\in C^c$

예시 (정규분포) :

$H_0 : \mu < \mu_0, \quad \text{v.s.} \quad H_1 : \mu \ge \mu_0$

검정 통계량 $z = \frac{\bar x - \mu_0}{\sigma / \sqrt n}$, $\bold X = (X_1, X_2)$ 이며 다음과 같은 기각역을 세웠다고 가정하겠습니다.

이것의 크기, 즉 Critical Region 의 크기는 다음이 만족한다면 $\alpha$ 라고 부릅니다.

이 알파 값이 여러분이 아시는 Significance Level, 유의 수준이 맞습니다.

이것에 대한 그래프를 그리면 강의안에 나오는 것과 같이 기각역을 $X_1$ 과 $X_2$ 값들에 의해서 세울 수가 있게 됩니다.

위의 경우에는 1종 오류, 즉 귀무가설이 참일 때에의 경우를 고려한 것이며, 반대로 2종 오류 관련된 것, 즉 대립가설이 참일 때의 경우는 다음과 같습니다.

정확하게는 $\theta \in w_1$ 일 때에 $H_0$ 을 기각할 확률입니다. (2종 오류 관련!)

이것을 Power Function 이라고 부르며 대립가설이 참이면 귀무가설이 거짓이므로 귀무가설을 기각하는 것이 옳은 결정이기에 Power Function 값이 오르면 오를수록 좋은 것입니다.

검정에 있어서 저희는 1종 오류와 2종 오류들이 있습니다.

그럼 저희의 목표는 보통 무엇인가요? 1종 오류가 2종 오류보다 더 중요하다고 여기기 때문에 유의수준 내에서 1종 오류를 고정시켜주고 그 중에서 2종 오류를 최소화 시켜주는 값을 찾게 됩니다!

$C$ 는 이전에 설명했던 것과 같이 Critical Region 입니다. 즉 귀무가설을 채택하는 영역을 $C$ 라고 부릅니다.

이것의 크기를 $\alpha$ 라 부릅니다.

만약에 $H_0 : \theta = \theta^\prime \text{ v.s. } H_1:\theta = \theta^{\prime\prime}$ 이 주어졌을 때에, 다음과 같은 조건이 만족이 된다면 Best Critical Region 이라고 $C$ 를 부릅니다.

a.) $P_{\theta^\prime}[\bold X \in C] = \alpha$

b.) For every subset A of the sample space,

$P_{\theta^\prime}[\bold X \in A] = \alpha \rightarrow P_{\theta^{\prime\prime}}[\bold X \in C] \ge P_{\theta^{\prime\prime}}[\bold X \in A]$

해석하자면, 1종 오류가 $\alpha$ 값이면서 검정력이 가장 큰 값을 의미합니다.

a 의 경우 $\theta^\prime$ 이 밑에 붙어 있으며 이것이 바로 귀무가설이 참일 때의 경우를 의미합니다.

b 의 경우 유의수준 내에서 대립가설이 참일 때에 귀무가설을 기각할 확률, 즉 검정력 (Power Function) 이 $C$ 내에서는 가장 크다는 것을 의미합니다.

강의안 / 교재 안에서의 예시에서도 알 수 있듯이 Best Critical Region 을 찾는게 마냥 쉽지만은 않습니다. 그렇기 때문에 이것을 쉽게 구할 수가 있는 정리인 Neyman-Pearson Theorem 을 활용할 겁니다.

이 정리의 경우 우도함수를 활용합니다. 우도함수는 다음과 같습니다.

만약에 저희가 관심있는 모수가 $\theta$ 이며 이것에 대한 가설들을 다음과 같이 세운다면,

$C$ 가 다음과 같은 조건들이 만족이 된다면 이것을 Best Critical Region 이라고 부릅니다. 그리고 $k > 0$

i.)

ii.)

iii.)

증명 :

$A$ 를 다른 Critical Region 이라고 부르겠습니다. 즉 Best Critical Region 이 아닌! 그럼 귀무가설이 진실일 때에 다음과 같은 크기 / 유의수준 / 확률 을 가집니다.

$C$ 가 Best Critical Region 이면 다음과 같은 관계를 가져야 합니다.

즉 Power / 검정력이 가장 강해야 합니다.

근데 이것을 Likelihood 와 함께 도입을 시켜서 풀면은 다음과 같이 나오게 됩니다.

여기에서 저희가 할 증명은 i.), ii.), iii.) 가 만족이 될 때에 위의 식의 Equality 가 성립이 된다는 증명입니다.

i.) 에 의해서

ii.) 에 의해서

이것을 적용시키게 된다면 다음과 같이 나옵니다.

그래서 증명을 마무리 할 수 있게 됩니다.

Most Power Test :

A test based on a best critical region of size $\alpha$ is called the most powerful test of size $\alpha$.

그저 $\alpha$ 크기의 Best Critical Region 에 의한 검정이 Most Power Test 이다~

Unbiased Test :

만약에 다음과 같은 조건을 $\theta \in w_1$, 즉 Under the Alternative 에서 다음 조건을 만족한다면 해당 검정은 Unbiased Test 라고 부릅니다.

이것을 통해서 다음 Corollary 도 알 수가 있습니다.

Corollary 8.1.1 :

만약에 $C$ 가 $H_0 : \theta = \theta^\prime \quad\text{v.s.}\quad H_1:\theta = \theta^{\prime\prime}$ 에서의 Best Test 이며 유의수준이 $\alpha$ 이면, 다음이 진실입니다.

즉 이게 의미하는 것은 무엇이냐면, 귀무가설이 $Pois(1)$ 을 따라간다는 것이며 대립가설은 $Geo(1/2)$ 를 따라간다는 것입니다.

우선은 우도함수와 함께 $L(\theta^\prime ; X) / L(\theta^{\prime\prime}; X)$ 를 구해야합니다.

$k>0$ 라고 가정한다면,

즉

를 만족하는 $x$ 값들이 저희의 Best Critical Region $C$ 가 되는겁니다.

만약에 $k=1$ 와 $n=1$ 이면 어떻게 될까요?