8장 Optimal Tests of Hypotheses (2)

Uniformly Most Power Test (UMP Test)

이전의 경우에 저희는 $H_0$ 과 $H_1$ 을 비교했을 때에 $H_0: \mu = \mu_0 \quad H_1 : \mu \ne \mu_0 \text{ 혹은} \mu > \mu_0$ 이러한 식으로 비교를 했습니다. 이렇게 하는 것을 Composite Hypothesis 이라고 부릅니다. 즉 S

즉 여러가지의 Simple Hypothesis 들이 모여있는 것이라고 생각하면 됩니다.

이렇게 진행하는 이유는 1종 오류가 2종 오류보다 더 중요하다고 판단했기 때문입니다.

이렇게 해서 저희의 가설검정을 채택하는 영역을 저희는 Critical Region 이라고 불렀으며 다음과 같은 예시로 정의가 됩니다.

\text{Reject } H_0 \text{ if } \bar X \ge 5, \\ \text{Critical Region} = C = \{(X_1, X_2) : \bar{X} \ge 5 \} = \{(X_1, X_2) : \frac{X_1 + X_2}{2} \ge 5 \} = \{(X_1, X_2) : X_1 + X_2 \ge 10 \}

Best Critical Region 의 경우 이것의 검정력 (Power) 까지 최대화 시켜주는 Region 이라고 말했습니다. 이것을 가설검정으로 하는 것을 MP-Test, 즉 Most Powerful-Test 이라고 부릅니다.

그렇다면 UMP-Test 는 무엇일까요? UMP-Test 란 대립가설 들 중에서 모든 대립가설들을 싹다 모아서 검정했을 때도 이 2종 오류가 최소화 되는 검정을 의미합니다.

위에서 $H_1$ 이 현재 범위로 있는데, 이 범위 내의 모든 값들이 결국에는 가능한 검정들이 될텐데, 이 모든 검정 중에서 2종 오류를 최소화, 즉 검정력이 최대화 된다는 것입니다.

정의는 그래서 다음과 같습니다.

$C$ 는 $\alpha$ 크기의 Critical Region 이며 이것이 UMP Critical Region 이 되기 위해서는 $C$ 가 대립가설 내의 모든 Simple Hypothesis 에서 Best Critical Region 이어야합니다. 이러한 Critical Region 에 검정을 치루게 된다면 그것을 Uniformly Most Power (UMP) Test 이라고 부르게됩니다.

UMP Test 는 항상 존재하지는 않지만 Neyman-Pearson Theorem 를 통해서 UMP Test 를 찾는 방법이 존재합니다.

Example 8.2.2

$X_1, \cdots, X_n \stackrel{iid}{\sim} \operatorname N(0, \theta), \quad \theta > 0$

귀무가설 $H_0 : \theta = \theta^\prime$

대립가설 $H_1 : \theta > \theta^\prime$

$\Omega = \{\theta : \theta \ge \theta^\prime \}$

UMP Test 를 어떻게 구할까요?

다음과 같은 MP Test 를 먼저 구한다 $H_0 : \theta = \theta^\prime \quad v.s. \quad H_1: \theta = \theta^{\prime\prime}$ , $\theta^{\prime\prime} > \theta^\prime$

1번에서의 MP Test 가 $\theta^{\prime\prime}$ 에 의존하지 않는다는 것을 보여라!

우선은 1번, 즉 귀무가설이 $H_0: \theta = \theta^\prime \quad vs \quad H_1 : \theta = \theta^{\prime\prime}$ 으로 진행해보겠습니다.

이것을 구하기 위해서는 그저 Neyman-Pearson Theorem 를 적용시켜보겠습니다. 즉 우도함수를 먼저 구축해야겠죠.

L(\theta; x_1, x_2, \cdots, x_n) = \left(\frac{1}{2\pi\theta} \right)^{n/2} \exp\left\{-\frac{1}{2\theta} \sum_{i=1}^n x_i^2\right\}

그 다음으로는 $\frac{L(\theta^\prime; x_1,\cdots, x_n)}{L(\theta^{\prime\prime}; x_1, \cdots, x_n)}$ 를 구축하고 이게 어떤 양의 상수 $k$ 보다 이하라는 것을 보이겠습니다.

이것을 정리하면, 다음과 같이 나오게 됩니다.

\sum_{i=1}^n x_i^2 \ge \frac{2\theta^\prime \theta^{\prime\prime}}{\theta^{\prime\prime} - \theta^\prime} \left[\frac{n}{2} \log\left(\frac{\theta^{\prime\prime}}{\theta^\prime} \right) - \log k\right] = c

이러면, 다음과 같은 영역이 저희의 Best Critical Region 이라고 말할 수가 있습니다.

\sum_{i=1}^n x_i^2 \ge c

당연히 이러면 $c$ 값이 뭔지 몰라서 찾아야겠죠, 하지만 저희는 좌측 부분을 극한분포로 바꿔줄 수가 있습니다.

\frac{\sum_{i=1}^n X_i^2}{\theta^\prime} \sim \chi^2(n)

위의 극한 분포를 정의할 수 있기 때문에 Best Critical Region 을 갖고오면,

\alpha = \operatorname P_{\theta^\prime}\left(\sum_{i=1}^n X_i^2 \ge c\right) = \operatorname P_{\theta^\prime}\left(\frac{\sum_{i=1}^n X_i^2}{\theta^\prime} \ge \frac{c}{\theta^\prime}\right)

이것을 통해서 $c/\theta^\prime$ 의 값도 구할 수가 있으며, $c$ 의 값도 구할 수가 있게 됩니다. 결국에는 1번 부분을 마무리 시킬 수가 있게 됩니다.

2번에서는 1번의 Test 가 $\theta^{\prime\prime}$ 에 의존하지 않는다면 UMP-Test 가 만족이 된다고 하며, 현재로서는 $\theta^{\prime\prime}$ 에 전혀 의존을 하지 않고 있는 모습입니다. 그렇기 때문에 해당 Test, 아니면 다음과 같은 Critical Region 은 UMP Critical Region, 그리고 여기에서 진행되는 것은 UMP-Test 이라고 부를 수가 있게 됩니다!

C = \left\{\bold{x^\prime} : \frac{\sum_{i=1}^n X_i^2}{\theta^\prime} \ge \chi^2_\alpha(n)\right\}

Monotone Likelihood Ratio

만약에 우도함수 $L(\theta, \bold x)$ 가 $\theta_1 < \theta_2$ 일 때에

\frac{L(\theta_1, \bold x)}{L(\theta_2, \bold x)}

가 $y = u(\bold x)$ 에 대한 Monotone Function 이면, 우도함수를 Monotone Likelihood Ratio (MLR) 이라고 부릅니다.

만약에 $\theta_1 < \theta_2$ 이며 $\frac{L(\theta_1; \bold x)}{L(\theta_2 ; \bold x)}$ 가 $y = u(\bold x)$ 에 대한 Decreasing Function 일 때에, 다음과 같은 Test 는 $H_0 : \theta \le \theta^\prime \quad H_1 : \theta > \theta^\prime$ 의 가설 아래에서 $\alpha$ 크기의 UMP Test 이게 됩니다.

\text{Reject } H_0 \text{ if } Y\ge c_Y

$c_Y$ 의 경우 $\alpha = P_{\theta^\prime}(Y \ge c_Y)$ 에 의해서 결정됩니다.

Example 8.2.2 에서 보여준 것과 사실은 굉장히 비슷한 모습이죠.

Neyman-Pearson Theorem 에 의하면 $C$ , Critical Region 은

\frac{L(\theta^\prime, \bold X)}{L(\theta^{\prime\prime}, \bold X)} \le k

에 의해서 결정이 되며, $k$ 는 $\alpha = P_{\theta^\prime}[\bold X \in C]$ 에 의해서 결정이 됩니다. 하지만 $\theta^{\prime\prime} > \theta^\prime$ 이기 때문에,

\frac{L(\theta^\prime, \bold X)}{L(\theta^{\prime\prime}, \bold X)} = g(Y) \le k \leftrightarrow Y \ge g^{-1}(k)

으로 마무리 할 수 있게 됩니다.

여기에서 $g$ 라는 함수가 Monotone Increasing 인지 Monotone Decreasing 인지에 따라서 Inequality 의 방향이 정해집니다.

만약에 $g$ 가 Monotone Increasing 하다면,

g(Y) \le k \leftrightarrow Y \le g^{-1}(k)

반면에 $g$ 가 Monotone Decreasing 하다면,

g(Y) \le k \leftrightarrow Y \ge g^{-1}(k)

\chi^2_\alpha(n)