通过找公共因子,达到降维目的。如果变量间不相关,则不能使用因子分析降维。
最简单的因子模型
$$ x_i = F_i + \varepsilon_i
$$
$$F$$是对所以变量都起作用的因子,$$\varepsilon_i$$是第$$i$$个变量特有的,即每个变量是由一个公共因子和一个特殊因子之和组成。
因子分析的目标
- 确定是否存在更少的不想关变量,他们能解释原始变量之间的关系
- 确定因子的个数
- 解释这些因子
计算因子得分
将因子作为进一步统计分析的变量,比如对原始变量或$$n$$个实验单元进行分类
因子分析与主成分的区别
- 主成分分析不是一个模型,只是变量的变换,而因子分析需要构建模型
- 主成分是原始变量的线性组合,而在因子分析中,原始变量是公共因子和特殊因子的线性组合
- 主成分和原始变量无因果关系,而因子分析中,因子是因,原始变量是果
- 标准化对主成分分析有影响,但是对因子分析无影响
- 主成分个数与原始变量个数一样(解释所有的方差),因子个数通常比原始变量个数少(达到降维目的)
- 主成分关心的是变量的方差,因子分析更关心变量的协方差或相关矩阵(标准化后的相关系数矩阵)的结构
- 主成分分析不能旋转,而因子分析通过旋转可以使得因子有很好的解释结果
- 因子分析结果不是唯一的,而主成分分析的结果是唯一的
- 主分量分析是将原始变量的方差尽量分解在前面的主分量上,因子分析是将协方差分解在因子载荷上,方差还可以放在特殊因子的方差上
正交因子模型
公共因子$$F$$间不相关,所以是正交模型;特殊因子间不相关可以更好的解释,公共的部分都被公共因子提取出来了,所以特殊因子不相关;公共因子不相关的假设有可能是不符合实际的;要根据实际问题确定是否对原始变量进行标准化。
![image-20221126103124645](https://euclid-picgo.oss-cn-shenzhen.aliyuncs.com/image/202211261105836.png)
其中$$x$$为已知的$$p$$维原始变量,$$F$$为待提取的$$m$$维因子,$$\varepsilon$$为特殊因子。
模型中的$$\Lambda=(\lambdaij ){(p×m)}$$为待估计的系数矩阵,即因子载荷矩阵,$$\lambda_{ij}$$为第$$i$$个变量在第$$j$$个因子上的载荷。
因子分析方程
因子载荷矩阵$$\Lambda$$不唯一,模型不受量纲影响
![image-20221126104238791](https://euclid-picgo.oss-cn-shenzhen.aliyuncs.com/image/202211261105841.png)
推导过程
因子载荷矩阵是原始变量和公共因子间的协方差矩阵
原始变量的方差$$S$$可以分解在因子载荷矩阵上和特殊因子的方差上
是否标准化?
量纲变换不影响模型,但是影响因子载荷矩阵
标准化后对因子载荷的影响
- 是否对原始变量标准化不影响因子分析的解释,注意要基于因子与原始变量的相关系数解释因子的含义,如果已将原始变量标准化,则可以直接基于因子载荷阵解释因子的含义
- 因子载荷的大小依赖量纲的选取,通常在因子分析前将数据标准化,基于相关阵进行因子分析
因子载荷矩阵不唯一
载荷矩阵不唯一使得因子旋转成为可能
- 好处:不能解释时可以旋转,没有旋转之前认为是没有找到真正有实际意义的因子,旋转帮助我们找到了有实际意义的因子,可以解释实际问题了。
- 坏处:每人得到一组解,谁来确定哪个解是有意义的?增加了人为的因素,不是仅仅由数据决定,这也是统计解决问题的特点。
正交模型中各量的统计意义
因子载荷的统计意义
因子载荷矩阵中每个元素$$\lambda_{ij}$$的意义
变量共同度的统计意义
因子载荷矩阵每行元素平方和的含义,$$x_i$$能被公共因子解释的程度
公因子$$F_i$$的方差贡献的统计意义
因子载荷矩阵每列元素平方和的含义