因子分析概述

• 因子分析法通过研究变量间的相关系数矩阵，把这些变量间错综复杂的关系归结成少数几个综合因子，这一分析过程也称为降维。由于因子往往比主成分更易得到解释，从而有更广泛的应用。
• 举例：林登(Linden)根据他收集的来自139名运动员的比赛数据，对第二次世界大战以来奥林匹克十项全能比赛的得分作了因子分析研究。这十个全能项目为：100米跑($x_1$)，跳远($x_2$)，铅球($x_3$)，跳高($x_4$)，400米跑($x_5$)，11米跨栏($x_6$)，铁饼($x_7$)，撑杆跳高($x_8$)，标枪($x_9$)，1500米跑($x_{10}$)。经标准化后所作的因子分析表明，十项得分基本上可归结于他们的短跑速度、爆发性臂力、爆发性腿力和耐力这四个方面，每一方面都称为一个因子。十项得分与这四个因子之间的关系可以描述为如下的因子模型：

$$x_i={\mu }_i+a_{i1}{F}_1+a_{i2}{F}_2+a_{i3}{F}_3+a_{i4}{F}_4+{\epsilon }_i,i=1,2,\cdots ,10$$
其中

1. $F_1,F_2,F_3,F_4$表示四个因子，出现在每个变量的表达式中，是不可观测的变量，称为公共因子(common factor)。
2. $a_{ij}$称为$x_i$在因子$F_j$上的载荷(loading)，$A=(a_{ij})$称为载荷矩阵。
3. ${\mu }_i$是$x_i$的均值。
4. ${\epsilon }_i$是$x_i$不能被四个公共因子解释的部分，仅与变量 $x_i$有关，称之为特殊因子(specific factor)，常假定${\epsilon }_i\sim N(0,{\sigma }_i^2)$，${\sigma }_i^2$称为特殊方差。

• 因子分析的首要任务就是估计因子载荷$a_{ij}$和方差${\sigma }_i^2$ ，然后给因子$F_j$一个合理的解释，若难以进行合理的解释，则需要进一步作因子旋转，希望旋转后能发现比较合理的解释。

因子分析模型

数学模型

设有$p$个原始变量 $x_i$，标准化后为$X_i$(一般都要标准化)，它们可能相关，则可以建立因子分析模型如下：
$$X_i={\mu }_i+a_{i1}{F}_1+a_{i2}{F}_2+...+a_{im}{F}_m+{\epsilon }_i,i=1,2,\cdots ,p,m\le p$$
或

或
X − μ = Λ F + ε

X−μ=ΛF+ε​​
并且满足

因子分析模型的性质

1. $X$的协方差矩阵的分解

C o v ( X ) = Λ Λ T + d i a g ( σ 1 2 , σ 2 2 , . . . , σ 3 2 )

Cov(X)=ΛΛT+diag(σ12​,σ22​,...,σ32​)​​
$X$是经过标准化的，所以$Cov(X_i)=1$

2. 载荷矩阵不是唯一的

设$T$为一个p×p的正交矩阵，令
$$\tilde{\Lambda }=\Lambda T,\tilde{F}=T^{T}F$$
则(1)可以表达为
$$X-\mu =\tilde{\Lambda }\tilde{F}+\epsilon$$
并且新的公共因子$\tilde{F}$依旧满足条件。

因子载荷矩阵的几个统计性质

1. 因子载荷$a_{ij}$的统计意义

因子载荷$a_{ij}$是第$i$个变量与第$j$个公共因子的相关系数，即$a_{ij}=r_{x_i{F}_j}$

2. 变量$X_i$共同度的统计意义

变量$X_i$的共同度是因子载荷矩阵的第$i$行的元素的平方和，记为$h_i^2={\sum }_{j=1}^m{a}_{ij}^2$，由（2）式得到
$1={\sum }_{j=1}^m{a}_{ij}^2+{\sigma }_i^2$
所有公共因子和特殊因子对变量$X_i$的贡献为1，如果共同都非常靠近1，则从原变量空间到公共因子空间的转化效果好。

3. 公共因子$F_j$方差贡献的统计意义

$F_j$对所有的$X_i$的方差贡献和是因子载荷矩阵的第$j$行的元素的平方和，记为$S_j={\sum }_{i=1}^p{a}_{ij}^2$，用以衡量$F_j$的相对重要性。

因子载荷矩阵的估计方法

主成分分析方法

样本相关系数矩阵$R=corrcoef(x)=cov(X)=corrcoef(X)$，${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_p$为$R$的特征值，${\eta }_1,{\eta }_2,...,{\eta }_p$为相应的标准正交化特征向量。
则因子载荷矩阵
$$\Lambda =[\sqrt{{\lambda }_1}{\eta }_1,\sqrt{{\lambda }_2}{\eta }_2,...,\sqrt{{\lambda }_p}{\eta }_p]$$
特殊因子的方差
$${\sigma }_i^2=1-\sum _{j=1}^m{a}_{ij}^2$$

主因子法

记
$R^{\ast }=\Lambda {\Lambda }^T=R-diag({\sigma }_1,...,{\sigma }_m)$
$R^{\ast }$为约相关系数矩阵，对角线上的元素是$h_i^2$。
特殊因子的方差一般是未知的，通过如下方法进行估计：

1. 取${\hat{h}}_i^2=1$，这种情况下主因子解与主成分解等价。
2. 取${\hat{h}}_i^2={\max }_{j\ne i}|r_{ij}|$

记

${\lambda }_1^{\ast }\ge {\lambda }_2^{\ast }\ge ...\ge {\lambda }_p^{\ast }$为$R$的特征值，${\eta }_1^{\ast },{\eta }_2^{\ast },...,{\eta }_p^{\ast }$为相应的标准正交化特征向量。
则因子载荷矩阵
$$\Lambda =[\sqrt{{\lambda }_1^{\ast }}{\eta }_1^{\ast },\sqrt{{\lambda }_2^{\ast }}{\eta }_2^{\ast },...,\sqrt{{\lambda }_p^{\ast }}{\eta }_p^{\ast }]$$

最大似然估计法

Matlab工具箱求因子载荷矩阵使用的是最大似然估计法，命令是factoran。

因子旋转

• 得到因子模型后，其中的公共因子不一定能反映问题的实质特征，为了能更好地解释每一个公共因子的实际意义，且减少解释的主观性，可以通过因子旋转达到目的。
• 因子旋转分为正交旋转与斜交旋转，经过正交旋转而得到的新的公共因子仍然保持彼此独立的性质，而斜交旋转得到的公共因子是相关的(违背了最初的假定，因此可以看作传统因子分析的拓展)，其实际意义更容易解释。
• 不论是正交旋转还是斜交旋转，都应当使新公共因子的载荷系数的绝对值尽可能接近0或1。

正交变换

• 我们主要介绍正交变换，有三种主要的正交旋转法：方差最大法、四次方最大法、等量最大法。

1. 方差最大法：使因子载荷矩阵中每一列的因子载荷平方的方差最大，使每个因子上的载荷尽量拉开距离。
2. 四次方最大法：使因子载荷矩阵中每一行的因子载荷平方的方差最大，使每个变量只在一个因子上有较高的载荷。
3. 等量最大法：把方差最大法和四次方最大法结合起来，求它们的加权平均最大。

• 当公共因子数m>2，从m个因子中每次选两个旋转，做完m(m-1)/2次旋转就算完成了一次循环，然后就可以开始第二次循环，直到每个因子的含义都比较明确未知。

因子得分

因子得分的概念

• 前面用公共因子的线性组合来表示一组观测变量，如果要用这些因子做其它的研究，比如把得到的因子作为自变量来做回归分析、对样本进行分类或评价，就需要得到公共因子的值。
• 因子分析的数学模型

• 因子得分函数

巴特莱特因子得分（加权最小二乘法）

$$\hat{F}=({\Lambda }^T{D}^{-1}\Lambda {)}^{-1}{\Lambda }^T{D}^{-1}(X-\mu )$$
$D=diag({\sigma }_1^2,{\sigma }_2^2,...,{\sigma }_p^2)$

回归方法

$$\hat{F}=X{R}^{-1}\Lambda$$

主成分分析和因子分析数学模型的比较

1. 相同点

2. 不同点

因子分析案例

我国上市公司盈利能力与资本结构的实证分析

1. 对原始数据进行标准化处理
2. 计算相关系数矩阵$R=(r_{ij}{)}_{4\times 4}$
3. 计算初等载荷矩阵
4. 选择2个主因子，并对提取的因子载荷矩阵进行旋转

主因子1是销售利润银子，主因子2是资产收益因子。

5. 计算因子得分，并进行综合得分

各个因子得分函数为
$$\begin{gathered} F_1=0.513{\tilde{x}}_1+0.1615{\tilde{x}}_2-0.1831{\tilde{x}}_3+0.5015{\tilde{x}}_4 \\ {F}_2=-0.045{\tilde{x}}_1+0.5151{\tilde{x}}_2+0.581{\tilde{x}}_3-0.0199{\tilde{x}}_4 \end{gathered}$$
利用综合因子得分公式
$$F=\frac{44.49F_1+41.68F_2}{86.17}$$

6. 盈利能力F和资产负债率y之间的关系：

$$F=0.829-0.0268y$$
回归方程在显著性水平0.05的情况下，通过了显著性检验。

clc,clear
load ssgs.txt   %把原始数据保存在纯文本文件ssgs.txt中
n=size(ssgs,1); %样本数
x=ssgs(:,1:4);y=ssgs(:,5);%提取自变量和因变量

X=zscore(x); %对x进行标准化

R=corrcoef(X);%求相关系数矩阵

[vec1,val,con1]=pcacov(R);  %进行主成分分析的相关计算，vec1特征向量，val特征值，con1贡献率
f1=repmat(sign(sum(vec1)),size(vec1,1),1);
vec2=vec1.*f1;     %特征向量正负号转换
f2=repmat(sqrt(val)',size(vec2,1),1); 
a=f2.*vec2; %初等载荷矩阵,选取前两个因子，但是载荷没有接近±1，0，所以旋转因子

am=a(:,1:2);%提出前两列的载荷矩阵
[bm,t]=rotatefactors(am,'Method','varimax');%bm旋转后的载荷矩阵，t正交矩阵

bt=[bm,a(:,3:end)];%旋转后全部因子的载荷矩阵
con2=sum(bt.^2);%因子贡献是每列平方和
rate=con2/sum(con2);%因子贡献率
%注意旋转前和旋转后的贡献率是不一样的，但前两个贡献率之和一样
check=[con1,rate'*100];

coef=inv(R)*bm;%得分函数的系数
score=X*coef;%计算样本在两个因子上的得分
Tscore=(rate(1)*score(:,1)+rate(2)*score(:,2))/sum(rate(1:2));%计算综合得分
[STscore,ind]=sort(Tscore,'descend');%降序排序
display=[score(ind,:)';STscore';ind']; %显示排序结果

[d,dt,e,et,stats]=regress(Tscore,[ones(n,1),y]);%计算F与资产负债的方程,p值=0.0026，通过显著性检验
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31