5장 Consistency and Limiting Distributions

Example of Convergence in Probability $\rightarrow$ Weak Law of Large Numbers (WLLN)

Let $\{X_n\}$ be a sequence of i.i.d random variables, with common mean $\mu$ and variance $\sigma^2 < \infty$

Then the following is True

증명 :

It is given already that $\operatorname{E}\left[\bar{X}_n \right] = \mu, \quad \operatorname{Var}\left[\bar{X}_n \right] = \frac{\sigma^2}{n}$, then by using Chebyshev’s Inequality,

Chebyshev’s Inequality :

we can say the following is True

Suppose that $X_n \xrightarrow{P} X$, and $Y_n \xrightarrow{P} Y$, then the following is True

증명 :

그럼 다음과 같이 대입을 시켜서 정리가 됩니다.

Convergence in Probability 정의를 가져오면 다음과 같습니다.

하지만 저희는 이미 $X_n \xrightarrow{P} X$ 와 $Y_n \xrightarrow{P} Y$ 이 사실이라는 것을 알고 있습니다. 즉

그렇기 때문에

Suppose that $a$ is a constant, and that $X_n \xrightarrow{P} X$, then the following is True

증명:

$a = 0$ 인 경우와 $a \ne 0$ 인 경우들을 살펴야 합니다.

전자의 경우 식에 대입만 시키면 됩니다.

후자의 경우 식에 대입시키면 다음과 같이 Convergence in Probability 의 정의를 활용해서 다음과 같이 식으로 정리가 가능합니다.

$a$ 를 앞으로 갖고오는 것은 당연히 가능합니다! 양쪽에다가 나눠주기만 한다면 다음과 같이 나오게 됩니다.

우측 식은 사실상 $X_n \xrightarrow{P} X$ 를 의미하고 있기 때문에 해당 식은 True 이며 증명을 마치겠습니다.

Suppose that $X_n \xrightarrow{P} a$ and $g$ is a continuous function at $a$, then the following is True

증명 :

Let $\forall \epsilon >0$, we know that $g$ is continuous at $a$, 그리고 이것이 의미하는 것은 바로 다른 $\forall \delta >0$ 과 활용해서 표현하면 다음과 같이 표현이 가능합니다.

이것이 의미하는 것은 다음과 같습니다.

이것을 저희의 식에 적용시키게 된다면 다음과 같이 나오게 됩니다.

우측 식의 경우 $X_n \xrightarrow{P} a$ 에 의해서 0 의 값을 가지기 때문에 좌측 식도 0으로 되면서 Convergence in Probability 가 성립이 됩니다.

여기에서 그럼 Inequality 가 왜 해당이 될까요?

이것이 해당 되는 이유는 어차피 $\delta$ 랑 $\epsilon$ 은 Arbitrary 한 값으로 저것을 만족하는 값인 Arbitrary 값을 가져오면 됩니다. Convergence in Probability 를 증명하기 위해서 저렇게 사용됐다~ 라고 생각하시면 됩니다!

그럼 이것이 사용될 만한 예시들을 보여드리겠습니다.

추가적으로 이것보다 더 어려운 강의들에서는 다음이 만족 된다는 것을 증명하며 해당 강의에서는 그저 이것이 해당이 되구나~ 로만 이해해도 무방합니다. (위와는 다르게 이번에는 확률변수입니다)

이전의 증명들을 이용하면 다음과 같이 식을 사용할 수 있습니다.

이거는 그저 xy 를 (x-y)^2 와 연관 지어서 푼 것이며, 이것이 가능한 이유는 다음과 같습니다.

그럼 기존 식을 다시 살피겠습니다. 해당 식에서 상수를 빼서 유심히 살피면 $X_n^2, Y_n^2, (X_n - Y_n)^2$ 요소들이 있습니다.

$X_n^2$ 와 $Y_n^2$ 의 경우 :

$g$ 를 $g(x) = x^2$ 으로 잡는다면 Continuous Mapping Theorem 에 의해서 Convergence in Probability 가 해당이 된다는 것을 알 수가 있습니다.

$\left(X_n - Y_n \right)^2$ 의 경우 :

우선은 $X_n - Y_n \xrightarrow{P} X - Y$ 이라는 것을 알 수가 있습니다. 이것 자체를 표현을 조금 바꾸면 다음과 같습니다 : $Z_n \xrightarrow{P} Z$

$g$ 를 $g(x) = x^2$ 으로 잡는다면 Continuous Mapping Theorem 에 의해서 다음이 해당이 됩니다.

$g(Z_n) \xrightarrow{P} g(Z), \leftrightarrow \left(Z_n\right)^2 \xrightarrow{P} \left(Z \right)^2, \leftrightarrow \left(X_n - Y_n \right)^2 \xrightarrow{P} \left(X - Y \right)^2$

정리를 하면 다음이 해당이 됩니다.

중간의 Convergence in Probability 가 성립이 되기에 증명을 마치겠습니다.

우선은 Unbiasedness 에 대해서 복습을 하겠습니다.

Unbiasedness

Statistic, 통계량, $T$ 가 있을 때 만약에 $\operatorname{E}[T] = \theta$ 가 만족이 되면 Unbiased Estimator 라고 합니다.

Consistency

Statistic, 통계량, $T$ 가 있을 때 만약에 $T_n \xrightarrow{P} \theta$ 가 만족이 되면 Consistent Estimator 라고 합니다.

이것이 의미하는 것은 표본 개수가 오르면 오를수록 모수랑 같아진다는 의미를 가집니다.

Hence Sample Variance is a Consistent Estimator

사실상 다른게 아니라 $X_n$ 과 $X$ 의 CDF 가 같으면 그냥 그것을 Convergence in Distribution 이라고 보는 것입니다.

그리고 이게 의미하는게 무엇인지 헷갈릴 수도 있는데, Convergence in Distribution 이

$X_n \xrightarrow{D} X$ 과 같이 있다면 해당 Sequence 는 $X$ 의 분포를 따라간다는 뜻이며, 이것의 예시를 갖고오면 이해가 편할 것으로 생각되어 다음과 같이 쓰겠습니다.

예:

여기에서 저희는 표현을 할 때에 $X$ 는 Sequence $\{X_n\}$ 의 Limiting Distribution / Asymptotic Distribution 이라고 부르기도 합니다.

If $X_n \xrightarrow{P} X$, then $X_n \xrightarrow{D} X$ is True.

즉 Convergence in Probability 하다면 Convergence in Distribution 도 해당이 된다는 뜻입니다.

이것은 if 관계를 가지며, 반대는 항상 성립이 되지는 않기 때문에 if and only if 관계가 성립이 되지는 않습니다.

증명 :

Upper Bound 과 Lower Bound 를 다음과 같이 구할 수 있습니다.

Convergence in Probability 가 해당이 되기에 마지막 식의 오른쪽 부분은 0 으로 수렴하며 좌측 부분만 이용해서 Upper Bound 을 다음과 같이 정리할 수 있습니다.

Lower Bound 는 똑같이 위에서 했던거랑 하면 되며, 이번에는 반대로 다음과 같이 구하겠습니다.

위의 식을 정리하면 Limit 에 대한 Lower Bound 도 구할 수가 있습니다.

두 식을 합치면 다음과 같이 Sandwich Theorem 과 $\epsilon$ 값을 아주 작게 구한다면 다음과 같은 결론을 지을 수가 있습니다.

If $X_n \xrightarrow{D} b$, where $b$ is a constant, then $X_n \xrightarrow{P} b$

Let $\forall \epsilon > 0$, then

설명을 해보겠습니다. Convergence in Distribution 이기 때문에 다음과 같은 식이 성립이 됩니다.

만약에 $t < b$ 이면 $F_b(t) = 0$, 아니면 $F_b(t) = 1$ 입니다. 이 이유는 CDF 의 성질을 생각해보면 됩니다. Constant 이기 때문에 $b$ 시점을 지나면 1, 아니면 0 인 CDF 를 가지겠죠.

그러면 $t <b$ 와 $t\ge b$ 으로 나눌 수가 있으며, $b$ 시점에 대해서는 우측 Limit 와 좌측 Limit 를 구할 수가 있게 됩니다. 이것은 각각 맨 위의 식의 우측과 좌측입니다. 각각 0 과 1 값을 가지기에 맨 위의 식이 해당이 되는 것입니다.

위의 것이랑 사실상 똑같으며, 이것은 Slutsky’s Theorem 의 기초가 된다.

$X_n \xrightarrow{D} X$, 그리고 $g$ 는 $X$ 의 Support 내에서 Continuous 하겠다고 두겠습니다. 그러면 다음과 같이 Continuous Mapping Theorem 을 적용시킬 수 있습니다.

이것을 활용시켜서 표준정규분포의 제곱이 카이제곱분포를 따라간다는 것을 구체적으로 알 수가 있습니다.

아마 이 절에서 가장 활용하기 어려운 정리인 것 같습니다.

증명은 따로 알 필요 없으며, 이것을 통해서 Convergence in Distribution 을 증명할 수 있다는 것만 알면 됩니다. 이것을 수리통계학 1 에서도 잠시 나오지만 CLT 와 활용해서 극한분포를 알아내는 것이 가능합니다.

Sequence $\{X_n\}$ is Bounded in Probability, if $\forall \epsilon >0$, there exists a constant $B_{\epsilon} >0$ and an integer $N_{\epsilon}$ such that

이것은 Convergence 랑은 비슷한 개념이지만 엄밀히 따지자면 다릅니다. 이것의 의미는 $n$ 값이 크면 클 수록 수열이 발산하지 않는다는 뜻입니다.

Convergence 의 경우 1개의 값으로 수렴한다는 뜻을 가지지만, Bounded in Probability 는 1개의 값으로 수렴한다는 의미를 가지지는 않고 있습니다.

추가적으로 만약에 해당 수열이 Random Variables, 확률변수들이면 다음이 성립이 됩니다.

$\{X_n\}$ 이 Bounded in Probability 하며

$\{Y_n\}$ 이 Convergent to 0 이면

$X_n Y_n \xrightarrow{P} 0$ 가 성립이 됩니다.

증명 :

저희가 증명할 것은 다음과 같습니다.

Bounded in Probability 하다는 것은 다음을 만족하는 $B_\epsilon >0$ 과 integer $N_\epsilon$ 이 존재하다는 것입니다.

Convergence in Probability to 0 하다는 것은 다음이 해당이 됩니다.

위의 2가지 식을 응용하면 다음과 같은 결론을 지을 수가 있습니다.

좌측 Limit :

$\{|X_n \cdot Y_n| \ge \epsilon\} \cap \{|X_n| \le B_\epsilon\}$ : 우측이 만족되기 위해서는 좌측의 식에 $Y_n$ 과 $\epsilon$ 을 추가해서 생각해야 됩니다. 즉 $|Y_n| \ge \epsilon / |X_N| \ge \epsilon / B_\epsilon$ 의 조건이 만족됩니다. 그러면 다음이 만족이 됩니다.

우측 Limit :

$\{|X_n \cdot Y_n| \ge \epsilon\} \cap \{|X_n| > B_\epsilon\}$ : 좌측보다 우측이 더 작기 때문에 우측의 확률을 구하면 되며, 이것은 Bounded in Probability 정의를 갖고오면 다음과 같이 정리가 가능합니다.

첫번째 식이 의미하는 것은 다른게 아닌 Taylor-Series Approximation 입니다.

두번째랑 세번째 식은 o-notation 들이 뭔지에 대한 설명이며, 간단히 말하자면 0 으로 수렴하는 에러 값들이라고 생각해도 됩니다.

이것을 이용해서 다음과 같은 정리를 사용할 수 있습니다.

증명 :

Let $\{X_n\}$ be a sequence of Random Variables such that

If the function $g$ is differentiable at $\theta$, and $g^\prime(\theta) \ne 0$, then the following is True

이게 저희가 이 장에서 Delta Method 를 배우는 가장 큰 이유라고 저는 개인적으로 생각하며, 이것을 활용, 및 증명하는 것들 역시 매우 중요하다고 생각합니다.

증명 :

식을 정리하자면 첫번째 식은 다름이 아니라 Delta Method 를 적용시키면 첫번째 식과 같이 표현을 할 수 있다는 것입니다.

$g(\theta)$ 를 좌측으로, 그리고 양쪽에 $\sqrt{n}$ 을 곱해주면 2번째 식과 같이 나오게 됩니다.

저희는 이미 $\sqrt{n}\left(X_n-\theta\right) \xrightarrow{D} N\left(0, \sigma^2\right)$ 이라는 것을 알고 있으며, 이것은 다른 의미로

$\sqrt{n}\left(X_n-\theta\right)$ 가 Bounded In Probability 이라는 것을 알고 있습니다. 그렇기 때문에

$o_p(\sqrt{n} \cdot |X_n - \theta|) \xrightarrow{P} 0$ 이라는 것과

$g^\prime(\theta) \sqrt{n} \cdot (X_n - \theta) \xrightarrow{D} g^\prime(\theta) \cdot \operatorname{N}(0, \sigma^2) \leftrightarrow \operatorname{N}\left(0, \sigma^2 \cdot (g^\prime(\theta))^2\right)$

이 사실이라고 알 수가 있습니다.

그렇기 때문에 위에서 2번째 식의 증명이 완료되었습니다.

Convergence in Distribution 을 증명하기 위해서는 MGF 들을 비교해서 증명하는 방법도 존재합니다. 우선은 MGF 가 뭔지 먼저 복습하자면, Moment-Generating Function 이며 다음과 같은 식을 가집니다.

$\{X_n\}$ : A sequence of R.V.’s with mgf $M_{X_n}(t)$, that exists for $-h < t < h$

$X$ : A random variable with mgf $M_X(t)$, that exists for $|t| \le h_1 \le h$

If $\lim_{n \rightarrow \infty} M_{X_n}(t) = M(t)$ exists for $|t| \le h_1$,

Then $X_n \xrightarrow{D} X$

다시 말해 MGF 가 똑같다면 Convergence in Distribution 하다는 것과 같다는 의미입니다.

CLT 의 의미는 표본 평균의 Limiting Distribution 이 정규분포를 따른다는 것입니다.

이것은 모든 통계 교수님들이 동의하실 통계학에서 가장 중요한 정리이기 때문에 이 정리가 무슨 의미를 가졌는지를 완전히 이해하시는 것도 향후 통계 과목/강의 들을 들으실 때에 큰 도움이 될 거라고 생각합니다.

이것이 중요한 이유는 표본이 어떠한 분포를 따르던간에 표본 평균이 정규분포를 따르기 때문에 그토록 더 중요한 것입니다.

그럼 구체적으로 식으로 살피겠습니다.

$X_1, \cdots, X_n$, where it follows any distribution with mean $\mu$ and variance $\sigma^2 < \infty$

Then, $Y_n = \frac{\sqrt{n} \cdot (\bar{X}_n - \mu)}{\sigma}$ has the limiting distribution $\operatorname{N}(0, 1)$, or in other words,

좌측을 다른 식으로 표현하면 다음과 같습니다.

이것을 또 다르게 표현하면 다음과 같습니다.

위의 식들은 사실상 다 똑같은 의미를 가지고 있습니다. 그리고 이것은 모두 다 Central-Limit Theorem 을 의미합니다.