6장 Maximum Likelihood Methods (3)

Multiparameter Case

저희는 여태까지 오로지 한개의 모수 $\theta$ 만 있을 때의 상황을 고려를 했습니다. 하지만 여기에서 모수 $\theta$ 가 많아지면 어떻게 될까요?

X_1, \cdots, X_n \stackrel{iid}{\sim} f(x; \boldsymbol \theta ), \boldsymbol \theta \in \Omega \subset R^p

문제가 이렇게 구성이 된다면 어떻게 하면 각각의 $\theta$ 에 대해서 계산을 해야할지에 대한 문제입니다.

우도함수는 이전과 똑같이 구축이 가능하긴 합니다.

L(\boldsymbol \theta) = \prod_{i=1}^n f(x_i ; \boldsymbol \theta) \\ l(\boldsymbol \theta) = \sum_{i=1}^n \log f(x_i ; \boldsymbol \theta)

이것에 관한 MLE 를 구하기 위해서는 기존에는 $\theta$ 대로 한번 미분을 진행하면 됐습니다. 이것 역시 똑같지만 다음과 같은 Regularity Conditions 들을 추가로 만족해야 합니다. (이것들을 외우실 필요는 없지만 이것들이 필요하다는 것 정도는 아시면 좋을 것 같습니다!)

위의 조건들이 만족이 된다면 MLE 를 구하는 것이 가능하며, 이것은 다음을 통해서 각각의 모수에 대해서 구하는게 가능합니다.

\frac{\partial}{\partial \boldsymbol \theta} l(\boldsymbol \theta) \stackrel{\text{set}}{=} 0

Invariance property 역시 유지가 됩니다!

\eta = g(\boldsymbol \theta), \quad \hat \eta = g(\boldsymbol{\hat \theta})

Example on Normal Distribution

정규분포의 경우 이전에는 $\mu$ 혹은 $\sigma^2$ 들 중에서 하나만 없는 경우에서 시작을 했지만, 사실 모수 둘다 모르는 상황이 더 많습니다. 이럴 때에 어떻게 하면 구체적으로 MLE 를 구할 수 있을까에 대한 생각을 해봐야 합니다.

X_1, \cdots, X_n \stackrel{iid}{\sim} N(\mu, \sigma^2) \\~\\ f(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \cdot \exp\left(-\frac{(x-\mu)^2}{2\sigma^2} \right) \\~\\ L(\mu, \sigma^2) = \prod_{i=1}^{n} f(x_i; \mu, \sigma^2) \\~\\ = \left(\frac{1}{\sqrt{2 \pi \sigma^2}}\right)^n \exp \left(-\frac{1}{2 \sigma^2} \sum_{i=1}^n\left(x_i-\mu\right)^2\right)

l(\mu, \sigma^2) = -\frac{n}{2}\log(2\pi) -\frac{n}{2}\log(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n}\left(x_i - \mu \right)^2

\frac{\partial l}{\partial \mu} = \frac{1}{\sigma^2}\sum_{i=1}^{n}(x_i - \mu) \stackrel{\text{set}}{=} 0, \quad \hat\mu = \frac{1}{n}\sum_{i=1}^{n}x_i

\frac{\partial l}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2 (\sigma^2)^2} \sum_{i=1}^n(x_i-\hat \mu)^2 = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4}\sum_{i=1}^n(x_i-\bar x)^2 \stackrel{\text{set}}{=} 0 \\~\\ -\frac{n}{2} \cdot \sigma^2 + \frac{1}{2} \sum_{i=1}^n(x_i - \bar x)^2 = -n\cdot \sigma^2 + \sum_{i=1}^n(x_i - \bar x)^2 = 0 \\~\\ \hat \sigma^2 = \frac{1}{n}\sum_{i=1}^n(x_i - \bar x)^2, \quad \hat \sigma = \sqrt{\frac{1}{n} \sum_{i=1}^n (x_i - \bar x)^2}

이러한 식으로 이전에 구했던 것과 똑같이 구하는게 가능해집니다. 그렇다면 Fisher Information 은 어떻게 구하야 할까요?

I(\theta) = -\operatorname E \left[\frac{\partial^2}{\partial \theta^2} \log f(x;\theta) \right]

저희는 이전에 Fisher Information 을 위와 같이 구했었습니다. 하지만 현재의 상황에서는 $\theta$ 가 벡터입니다. 그 뜻은 2번 미분할 때 매트릭스가 나오게된다는 점이 있습니다. 표현을 하자면, 다음과 같이 나오게 됩니다.

\boldsymbol \theta = \left(\theta_1, \theta_2, \cdots, \theta_p \right) \\~\\ I(\boldsymbol \theta) = -\operatorname E \left[\frac{\partial^2}{\partial \boldsymbol \theta^2} \log f(x;\boldsymbol \theta) \right] \\~\\= - \operatorname E \left[\begin{array}{cccc} \frac{\partial^2}{\partial \theta_1^2} \log f(x;\boldsymbol \theta) & \frac{\partial^2}{\partial \theta_1 \partial \theta_2} \log f(x;\boldsymbol \theta) & \cdots & \frac{\partial^2}{\partial \theta_1 \partial \theta_p} \log f(x;\boldsymbol \theta) \\ \frac{\partial^2}{\partial \theta_1 \partial \theta_2} \log f(x;\boldsymbol \theta) & \frac{\partial^2}{\partial \theta_2^2} \log f(x;\boldsymbol \theta) & \cdots & \frac{\partial^2}{\partial \theta_2 \partial \theta_p} \log f(x;\boldsymbol \theta) \\ \cdots & \cdots & \cdots & \cdots \\ \frac{\partial^2}{\partial \theta_1 \partial \theta_p} \log f(x;\boldsymbol \theta) & \frac{\partial^2}{\partial \theta_2 \partial \theta_p} \log f(x;\boldsymbol \theta) & \cdots & \frac{\partial^2}{\partial \theta_p^2} \log f(x;\boldsymbol \theta) \end{array}\right]

이것을 통해서 저희의 Covariance Matrix 를 구축하는 것도 가능합니다. 왜 이렇게 매트릭스 형태로 구하느냐에 대해서는 Multi-parameter 이라서 그렇습니다.

이것 역시 위의 문제에 대입을 시키게 된다면 다음과 같이 나오게 됩니다.

\frac{\partial^2 l(\boldsymbol{\theta})}{\partial \boldsymbol{\theta}^2}=\left[\begin{array}{cc}\frac{\partial^2 l}{\partial \mu^2} & \frac{\partial^2 l}{\partial \mu \partial \sigma} \\\frac{\partial^2 l}{\partial \mu \partial \sigma} & \frac{\partial^2 l}{\partial \sigma^2}\end{array}\right]

정확한 풀이는 강의안을 참고하면 될 것 같습니다.

Multinomial Distribution

Binomial Case 를 확장해서 생각하면 Multinomial 이 됩니다.

Binomial 분포를 리뷰해보면 어떠한 일이 생길 수도 있고, 안 생길 수도 있는 Bernoulli 실험을 반복해서 나오는 것입니다.

Multinomial 의 경우 이 생길 수도 있고 안 생길 수도 있는 것이 한개로 속성되어 있는 것이 아닌 여러 개로 속성 되어 있을 때를 고려한다는 뜻입니다.

예시로 주사위를 들겠습니다. 주사위는 총 6가지 값을 가질 수 있기에 이에 따라서 각각의 State 에 대한 확률을 부여시켜야 됩니다. 하지만 Binomial 은 6가지 값들이 있기에 이렇게 사용하는 것이 불가능해집니다. 그렇기 때문에 더욱 더 많은 $p$ 값들을 고려해야 하기에 Multibinomial 을 적용시키면 됩니다.

\boldsymbol X = (X_1, \cdots, X_k) \sim \text{Multinomial}(n, \boldsymbol p)

특징이 있다면 원래는 $\boldsymbol p = (p_1, \cdots, p_k)$ 이지만 강의안에서는 $k-1$ 개 있는 이유는 어차피 $\sum p_k = 1$ 이기에 $k-1$ 개 만큼 있다면 마지막 1개는 구하는게 가능하기 때문입니다. 이러한 것을 저희는 Degrees of Freedom 이라고 부릅니다.

f(x;p) = \left[\prod_{j=1}^{k-1} p_j^{x_j}\right] \cdot \left[1 - \sum_{j=1}^{k-1} p_j \right]^{1 - \sum_{j=1}^{k-1} x_j} \\~\\ \log f = \sum_{j=1}^{k-1} x_j \log p_j + \left[1 - \sum_{j=1}^{k-1} x_j \right] \cdot \log\left[1 - \sum_{j=1}^{k-1} p_j \right]

\frac{\partial}{\partial p_i} \log f = \frac{x_i}{p_i} - \frac{1 - \sum_{j=1}^{k-1}x_j}{1 - \sum_{j=1}^{k-1}p_j}, \quad \text{for } i = 1, \cdots, k-1

\frac{\partial^2}{\partial p_i^2} \log f = -\frac{x_i}{p_i^2} - \frac{1 - \sum_{j=1}^{k-1}x_j}{\left(1 - \sum_{j=1}^{k-1} p_j \right)^2} \\~\\ \frac{\partial^2}{\partial p_i \partial p_h} \log f = - \frac{1 - \sum_{j=1}^{k-1}x_j}{\left(1 - \sum_{j=1}^{k-1} p_j \right)^2}

Fisher Information :

I_{i, i} = -\operatorname E\left[\frac{\partial^2}{\partial p_i^2} \log f \right] = \operatorname E\left[\frac{x_i}{p_i^2} + \frac{1 - \sum_{j=1}^{k-1}x_j}{\left(1 - \sum_{j=1}^{k-1} p_j \right)^2} \right]\\~\\ = \frac{\operatorname E[X_i]}{p_i^2} + \frac{1 - \sum_{j=1}^{k-1}\operatorname E[X_j]}{\left(1 - \sum_{j=1}^{k-1} p_j \right)^2} \\~\\ \text{If }n =1, \text{Then} \\~\\ = \frac{p_i}{p_i^2} + \frac{1 - \sum_{j=1}^{k-1} p_j}{\left(1 - \sum_{j=1}^{k-1} p_j \right)^2} = \frac{1}{p_i} + \frac{1}{1 - \sum_{j=1}^{k-1} p_j} = \frac{1}{p_i} + \frac{1}{p_k}

I_{i, h} = -\operatorname E\left[\frac{\partial^2}{\partial p_i \partial p_h} \log f \right] = \operatorname E\left[\frac{1 - \sum_{j=1}^{k-1} x_j}{\left(1 - \sum_{j=1}^{k-1} p_j \right)^2} \right] = \frac{1 - \sum_{j=1}^{k-1} p_j}{\left(1 - \sum_{j=1}^{k-1} p_j \right)^2} = \frac{1}{1 - \sum_{j=1}^{k-1} p_j} = \frac{1}{p_k}

I(\boldsymbol p) = \left[\begin{array}{cccc} \frac{1}{p_1} + \frac{1}{p_k} & \frac{1}{p_k} & \cdots & \frac{1}{p_k} \\ \frac{1}{p_k} & \frac{1}{p_2} + \frac{1}{p_k} & \cdots & \frac{1}{p_k} \\ \cdots & \cdots & \cdots & \cdots \\ \frac{1}{p_k} & \frac{1}{p_k} & \cdots & \frac{1}{p_{k-1}} + \frac{1}{p_k} \end{array} \right]

I^{-1}(\boldsymbol p) \left[\begin{array}{cccc} p_1 \cdot (1 - p_1) & -p_2 \cdot p_1 & \cdots & -p_{k-1} \cdot p_1 \\ -p_1 \cdot p_2 & p_2 \cdot (1-p_2) & \cdots & -p_{k-1}\cdot p_2 \\ \cdots & \cdots & \cdots & \cdots \\ -p_1 \cdot p_{k-1} & -p_2 \cdot p_{k-1} & \cdots & - p_{k-1} \cdot (1 - p_{k-1}) \end{array} \right]

그냥 이렇구나~ 정도로 이해하셔도 되며 Multinomial 의 MLE는 그래도 알고 가는게 좋을 것 같습니다.

Now suppose that we have a Random Sample of Size $n$ ,

X_1, \cdots, X_n \stackrel{\text { ind }}{\sim} \operatorname{Multin{omial}}\left(1,\left(p_1, \cdots, p_{k-1}\right)\right)

Each of $X_i$ is a ( $\left.k-1\right)$ -dimensional vector, that consists of either $O$ or $1$

L(p)=\prod_{i=1}^n p m f\left(x_i ; p\right)=\prod_{i=1}^n p m f\left(x_i ; p\right)=\prod_{i=1}^n\left[\prod_{j=1}^{k-1} p_j x_{j i,}\right] \cdot\left(1-\sum_{j=1}^{k-1} p_j\right)^{1-\frac{k-1}{j=1} x_{j, i}} \text {, where } x_i=\left(x_{1, i}, x_{2, i}, \cdots, x_{k-1, i}\right)

Let $t_j=\sum_{i=1}^n x_{j, i}$ , for $j=1,2, \cdots, k-1 \Rightarrow$ The number of the $j^{\text {th }}$ event observed from $x_1, \cdots, x_n$
Then

\begin{aligned} & L(p)=\sum_{i=1}^n \sum_{j=1}^{k-1} x_{j, i} \log P_j+\sum_{i=1}^n\left[1-\sum_{j=1}^{n-1} x_{j, i}\right] \log \left(1-\sum_{j=1}^{n-1} P_j\right) \\ & =\sum_{j=1}^{n-1} \sum_{i=1}^n x_{j, i} \log P_j+\left(n-\sum_{j=1}^{n-1} \sum_{i=1}^n x_{j, i}\right) \log \left(1-\sum_{j=1}^{k-1} P_j\right) \\ & =\sum_{j=1}^{k-1} t_j \cdot \log p_j+\left(n-\sum_{j=1}^{k-1} t_j\right) \cdot \log \left(1-\sum_{j=1}^{k-1} p_j\right) \\ & \end{aligned}

To find the MLE's,

\begin{aligned} & \frac{\partial l(p)}{\partial P_h}=\frac{t_h}{P_h}-\frac{n-\sum_{j=1}^{k-1} t_j}{1-\sum_{j=1}^{k-1} p_j} \stackrel{\text { let }}{=} 0, \quad \text { for } h=1, \cdots, k-1 \\ \Rightarrow & \hat{p}_h=\frac{t_h}{P_h}=\frac{1}{n} \sum_{i=1}^n X_{h, i} \end{aligned}

Since $X_{h, i} \stackrel{\text { iid }}{\sim}$ Binomial $\left(1, p_h\right)$ ,

\begin{aligned} & \sum_{i=1}^n X_{h, i} \sim \operatorname{Binomial}\left(n, p_h\right) \\ \Rightarrow & \operatorname{Var}\left(\hat{p}_h\right)=\frac{1}{n} \cdot p_h\left(1-p_h\right), \\ \Rightarrow & E\left[\hat{p}_n\right]=p_h \Rightarrow \text { Unbiased Estimator } \end{aligned}

$\Rightarrow E\left[\hat{p}n\right]=p_h \Rightarrow$ Unbiased Estimator
$\Rightarrow$ Attains the Cramer-Rao lower Bound

\frac{1}{n}\left[I^{-1}(p)\right]{h, h}=\frac{1}{n} P_h\left(1-P_h\right)

$\therefore \hat{p}_1, \cdots, \hat{p}_{k-1}$ are efficient estimators.

Theorems

X_1, \cdots, X_n \stackrel{iid}{\sim} f(x; \boldsymbol\theta), \quad\theta \in \Omega, \quad \boldsymbol \theta = (\theta_1, \cdots, \theta_p)^\top

If R(0) ~ R(9) are satisfied, then

\frac{\partial}{\partial \boldsymbol \theta} l(\boldsymbol \theta) = 0, \quad \hat{\boldsymbol \theta}_n \xrightarrow{P} \boldsymbol \theta

\sqrt{n}(\hat{\boldsymbol \theta}_n - \boldsymbol \theta) \xrightarrow D N_p(\boldsymbol 0, I^{-1}(\boldsymbol \theta))

\sqrt{n}\left(\hat{\theta}_{n_j}-\theta_j\right) \xrightarrow{D} N\left(0, \boldsymbol{I}_{j j}^{-1}(\boldsymbol{\theta})\right)

\boldsymbol{g}(\boldsymbol{\theta})=\left(g_1(\boldsymbol{\theta}), \ldots, g_k(\boldsymbol{\theta})\right)^{\prime}

\boldsymbol{B}=\left[\begin{array}{lll}\frac{\partial g_1}{\partial \theta_1} & \cdots & \frac{\partial g_1}{\partial \theta_p} \\\cdots & & \\\frac{\partial g_k}{\partial \theta_1} & \cdots & \frac{\partial g_k}{\partial \theta_p}\end{array}\right]=\left[\frac{\partial g_i}{\partial \theta_j}\right]

By Invariant Property of MLE’s,

\hat{\boldsymbol{\eta}} = \boldsymbol{g}(\boldsymbol{\hat \theta}) \text{ is the MLE of } \boldsymbol\eta = \boldsymbol g(\boldsymbol\theta)

\sqrt{n}(\hat{\boldsymbol{\eta}}-\boldsymbol{\eta}) \xrightarrow{D} N_k\left(\mathbf{0}, \boldsymbol{B} \boldsymbol{I}^{-1}(\boldsymbol{\theta}) \boldsymbol{B}^{\prime}\right)

\boldsymbol{I}(\boldsymbol{\eta})=\left[\boldsymbol{B} \boldsymbol{I}^{-1}(\boldsymbol{\theta}) \boldsymbol{B}^{\prime}\right]^{-1}