协方差 & 相关系数

Covariance & Correlation coefficient

Cov

定义

对于两个随机变量$X,Y$

有期望和方差：$E(X)、E(Y),D(X)、D(Y)$

其协方差为：$Cov(X,Y)=E((X-E(X))(Y-E(Y)))$

可得$Cov(X,Y)=E(XY)-E(X)E(Y)$

$D(X\pm Y)=D(X)+D(Y)\pm Cov(X,Y)$

注意

• 独立仅是协方差为0的必要条件，即使不独立，协方差也可能为0

• 协方差受变量单位的影响

协方差矩阵

对于矩阵$A=[X_1,X_2,\dots ,X_n]$ ， $(X_i=[x_{i1},x_{i2},\dots ,x_{in}{]}^T)$， 期望向量$[{\mu }_1,{\mu }_2,\dots ,{\mu }_n]$

其协方差矩阵元素：${\mathrm{\Sigma }}_{ij}=Cov(X_i,X_j)=E[(X_i-{\mu }_i)(X_j-{\mu }_j)]$

协方差矩阵为：

$\mathrm{\Sigma }=\left[\begin{array}{cccc}{\sigma }_1^2& {\sigma }_{12}& \cdots & {\sigma }_{1n}\\ {\sigma }_{21}& {\sigma }_2^2& \cdots & {\sigma }_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{n1}& {\sigma }_{n2}& \cdots & {\sigma }_n^2\end{array}\right]$

由于$Cov(X,Y)=Cov(Y,X)$可知协方差矩阵是一个对称矩阵，对角线元素即为各个变量的方差

然而在大多数情况下，无法获取总体数据进行计算时，我们只能使用部分样本数据来进行估计

对于样本数据$N$，第$k$个样本的第$i（j）$个变量$x_{ki},x_{kj}$ ，以及第$i（j）$个样本均值${\overline{x}}_i,{\overline{x}}_j$

${\hat{\mathrm{\Sigma }}}_{ij}=\frac{1}{N-1}\sum _{i=1}^N(A_{ki}-{\overline{A}}_i)(A_{kj}-{\overline{A}}_j)$

$\rho$相关系数

为了解决协方差中单位的影响，合理的表示两个随机变量之间的（线性）相关性

定义

令$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}},Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$，对$X,Y$进行标准化

因此$Cov(X^{\ast },Y^{\ast })$

$=E(\frac{X-E(X)}{\sqrt{D(X)}}\cdot \frac{Y-E(Y)}{\sqrt{D(Y)}})$

$-E(\frac{X-E(X)}{\sqrt{D(X)}})\cdot E(\frac{Y-E(Y)}{\sqrt{D(Y)}})$

$=\frac{E((X-E(X))(Y-E(Y)))}{\sqrt{D(X)D(Y)}}$

令$\rho =Cov(X^{\ast },Y^{\ast })=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$，其中$\parallel \rho \parallel \le 1\to (E(XY){)}^2\le E(X{)}^{2}E(Y{)}^2$

• $\rho =0$ ，只能说明$X,Y$之间不存在线性关系，二者不独立，协方差也可能为0
• $\parallel \rho \parallel =1$，说明二者完全正（负）相关

相关系数矩阵

对于矩阵$A=[X_1,X_2,\dots ,X_n]$， $(X_i=[x_{i1},x_{i2},\dots ,x_{in}{]}^T)$

其相关系数矩阵元素$R_{ij}=\rho (X_i,X_j)=\frac{{\sigma }_{ij}}{\sqrt{{\sigma }_{ii}{\sigma }_{jj}}}$

在使用样本估计总体时${\hat{R}}_{ij}=\frac{{\hat{\mathrm{\Sigma }}}_{ij}}{\sqrt{{\hat{\mathrm{\Sigma }}}_{ii}{\hat{\mathrm{\Sigma }}}_{jj}}}$ .

由于相关系数取值在$[-1,1]$ 其相关系数矩阵为：

$R=\left[\begin{array}{cccc}1& {\rho }_{12}& \cdots & {\rho }_{1n}\\ {\rho }_{21}& 1& \cdots & {\rho }_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ {\rho }_{n1}& {\rho }_{n2}& \cdots & 1\end{array}\right]$