왈드 통계량(Wald Statistic)

0.  주로 사용하는 가설 검정

(i) $H_0:{\beta }_i=0$

(ii)  $H_0:{\beta }_i={\beta }_{i0}$, 이때 ${\beta }_{i0}$은 0이 아닌 어떤 상수

(iii)  $H_0:{\beta }_2+{\beta }_3=1$

(iv)  $H_0:{\beta }_3={\beta }_4,or,{\beta }_3-{\beta }_4=0$

(v)  $H_0:\left[\begin{array}{c}{\beta }_2\\ ⋮\\ {\beta }_k\end{array}\right]=\left[\begin{array}{c}0\\ ⋮\\ 0\end{array}\right]$

 

(i)는 t검정, (ii)~(v)는 F검정으로 보통 수행할 수 있지만, 좀 더 일반적인 가설검정 방법이 있는데, 바로  $F$ 분포를 이용한 왈드 검정이다

---

1. General Framework

$$\mathbf{Rb}=\gamma$$

$$\text{where}\mathbf{R}\text{is}(q\times k)\text{matrix of known constant},$$

$$\gamma \text{is}q-\text{vector of known constants}$$

 

예를 들어 ${\beta }_1=0,{\beta }_2=0$의 제약에 대해 결합가설검정을 수행하려면 

$$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

이 되고, 순서대로 $\mathbf{R},\mathbf{b},\gamma$에 대응된다. $q$는 제약의 개수, $k$는 제약이 가해지는 추정량의 개수이다.

 

$$H_0:\mathbf{Rb}-\gamma =0$$

$$H_1:\mathbf{Rb}-\gamma \ne 0$$

 

그럼 어떤 통계량을 가지고 가설검정을 하느냐,,, ${\chi }^2(q)$ 분포와, ${\chi }^2$분포의 비율로 나타나는 $F$ 분포를 활용한다. 

 

참고 1 : 표준정규분포 $N(0,1)$의 제곱은 ${\chi }^2(1)$ 분포를 따른다.
참고 2 : 독립적인 표준정규분포의 n개의 합은 ${\chi }^2(n)$ 분포를 따른다.

증명은 Hogg 수리통계학 책 찾아보면 나옴

---

2. Derivation of Wald Statistic

[가정]

모집단분포의 오차항(error term)은 정규분포를 따른다.

즉, $u\sim N(0,{\sigma }^{2}I)$

 

(1) OLS 추정량인  $b=(X^{\prime }X{)}^{-1}(X^{\prime }y)=(X^{\prime }X{)}^{-1}(X\beta +u)=\beta +(X^{\prime }X{)}^{-1}(X^{\prime }u)$ 이므로

 

$(X^{\prime }X{)}^{-1}(X^{\prime }u)\sim N(0,{\sigma }^2(X^{\prime }X{)}^{-1})\Rightarrow \beta +(X^{\prime }X{)}^{-1}(X^{\prime }u)\sim N(\beta ,{\sigma }^2(X^{\prime }X{)}^{-1})$

 

따라서, delta method를 활용하여 도출한 $b$의 분포는

(2) $b\sim N(\beta ,{\sigma }^2(X^{\prime }X{)}^{-1})$를 따른다. 여기에 $\mathbf{R}$을 곱하면

 

(3) $\mathbf{R}b\sim N(\mathbf{R}\beta ,\mathbf{R}{\sigma }^2(X^{\prime }X{)}^{-1}{\mathbf{R}}^{\prime })$

$\mathbf{R}b-\gamma$는 귀무가설이 참일 때 0이므로, (3)의 분포에서 $\gamma$ 만큼을 제해주면

 

$\mathbf{R}b-\gamma \sim N(0,\mathbf{R}{\sigma }^2(X^{\prime }X{)}^{-1}{\mathbf{R}}^{\prime })$이 된다.

 

(4) 위 통계량이 평균은 0이고 분산은 1이 아닌 정규분포를 따르므로, 표준편차로 나눈다음 전체를 제곱하여 ${\chi }^2(q)$분포를 따르도록 만들어준다.

 

즉,  $(\mathbf{R}b-\gamma )[{\sigma }^2\mathbf{R}(X^{\prime }X{)}^{-1}{\mathbf{R}}^{\prime }{]}^{-1}(\mathbf{R}b-\gamma {)}^{\prime }\sim {\chi }^2(q)$

 

변수 1개, 즉 스칼라에 대해 가설검정을 진행할 때, $\frac{b-{\beta }_0}{se(b)}\stackrel{d}{\sim }N(0,1)$이고, 이걸 제곱하는 것과 같은 맥락이다. 다변수라 행렬을 이용하게 되었고, 행렬의 제곱은 차원을 맞춰줘야 하는 문제가 있기 때문에 양쪽에 붙게되어 위와 같은 결과가 나온다.

---

참고 : Delta method

$X\sim N(\mu ,{\sigma }^2)$ 라면

(1) $AX\sim N(A\mu ,A{\sigma }^2{A}^{\prime })$ 

(2) $X+k\sim N(\mu +k,{\sigma }^2)$

---

이때, ${\sigma }^2$는 모집단의 분산이기 때문에 사실 unknown이라는 문제가 있다. 따라서 OLS 추정을 통해 얻을 수 있는 $\widehat{{\sigma }^2}=\frac{e^{\prime }e}{n-k}$로 대치하여 사용한다. 이때, $e^{\prime }e\sim {\chi }^2(n-k)$임을 이용한다. 

 

참고 : $e^{\prime }e$는 잔차제곱합(RSS)의 행렬표현

 

(5) ${\sigma }^2$ 대신 $\widehat{{\sigma }^2}$를 이용하고,  F분포의 형태로 변환하여 사용가능한 통계량으로 만들면 :

$$\frac{(\mathbf{R}b-\gamma )[\widehat{{\sigma }^2}\mathbf{R}(X^{\prime }X{)}^{-1}{\mathbf{R}}^{\prime }{]}^{-1}(\mathbf{R}b-\gamma {)}^{\prime }}{q}$$

$$\frac{(\mathbf{R}b-\gamma )[\mathbf{R}(X^{\prime }X{)}^{-1}{\mathbf{R}}^{\prime }{]}^{-1}(\mathbf{R}b-\gamma {)}^{\prime }/q}{e^{\prime }e/(n-k)}$$

 

$\Rightarrow$ 이 통계량은 $F(q,n-k)$분포를 따른다.

---

3. Hypothesis Testing

항상 하던 것과 마찬가지로, 임계치보다 큰지 작은지를 확인하고 기각 여부를 판정하면 된다.

 

 

 

참고자료 

J. Johnston & J.DiNARDO, Econometric Methods. fourth edition