正文共：3691 字 16 图

预计阅读时间： 10 分钟

本文主要目的是为了汇总数据分析常用的分析方法，让大家有整体的概念，知道常用的算法，由于篇幅太长了，每个方法只进行了简单概括介绍，后面会开文单独介绍说明每个算法。

昨天文章

《数据分析：入门到精通》

说到了四大类数据分析法。我们今天详细说明下具体有哪些分析方法。

四大类数据分析法

一、现状描述型统计

现状描述型统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的频数、集中趋势、离散程度、偏度、峰度。是分析中最常见与常用的方法。统计图形，包括条形图、饼图和折线图等。

描述性统计

1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策树法。

2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。

二、假设检验

假设检验是通过观察一组随机变量的模型进行检验的科学假说。一旦能估计未知参数，就会希望根据结果对未知的真正参数值做出适当的推论。

所以计量资料一般是参数、非参数检验都是可以的。但是对于能使用参数检验的，首选参数检验，对不能满足条件的才选用非参数检验。

假设检验的种类包括：t检验，Z检验，卡方检验，F检验等等。

假设检验的基本思想是小概率反证法思想。小概率思想是指小概率事件（P<0.01或P<0.05）在一次试验中基本上不会发生。反证法思想是先提出假设(检验假设H0)，再用适当的统计方法确定假设成立的可能性大小，如可能性小，则认为假设不成立，若可能性大，则还不能认为假设不成立。

三、信度分析

信度（Reliability）即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。检査测量的可信度，例如调查问卷的真实性。

信度指标多以相关系数表示，大致可分为三类：

稳定系数（跨时间的一致性）

等值系数（跨形式的一致性）

内在一致性系数（跨项目的一致性）

信度分析的方法主要有以下四种：

重测信度法、复本信度法、折半信度法、α信度系数法。

四、交互分类分析

交互分类分析是指同时依据两个变量的值，将所研究的个案分类。交互分类的目的是将两变量分组，然后比较各组的分布状况，以寻找变量间的关系。该方法通常用于分析离散变量或定型变量之间是否存在相关。

对于二维表，可进行卡方检验，对于三维表，可作Mentel-Hanszel分层分析。还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。

五、相关分析

研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。

1、单相关： 两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量；

2、复相关 ：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的自变量和因变量相关；

3、偏相关：在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系称为偏相关。

六、方差分析

方差分析的基本思想是通过分析研究不同来源的变异对总变异的贡献大小，从而确定可控因素对研究结果影响力的大小。

使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等。

方差分析主要用途：

1、均数差别的显著性检验；

2、分离各有关因素并估计其对总变异的作用；

3、分析因素间的交互作用，

4、方差齐性检验。

七、回归分析

回归时研究因变量对自变量的依赖关系的一种统计分析方法，目的是通过自变量的给定值来估计或预测因变量的均值。它可用于预测、时间序列建模以及发现各种变量之间的因果关系。

回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；

按照因变量的多少，可分为简单回归分析和多重回归分析；

按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

其他回归方法：非线性回归、有序回归、Probit回归、加权回归等。

回归分析研究的主要问题是：

（1）确定Y与X间的定量关系表达式，这种表达式称为回归方程；

（2）对求得的回归方程的可信度进行检验；

（3）判断自变量X对因变量Y有无影响；

（4）利用所求得的回归方程进行预测和控制。

八、聚类分析

样本个体或指标变量按其具有的特性进行分类，寻找合理的度量事物相似性的统计量。

1、性质分类：

Q型聚类分析：对样本进行分类处理，又称样本聚类分祈 使用距离系数作为统计量衡量相似度，如欧式距离、极端距离、绝对距离等

R型聚类分析：对指标进行分类处理，又称指标聚类分析 使用相似系数作为统计量衡量相似度，相关系数、列联系数等

2、方法分类：

1）系统聚类法： 适用于小样本的样本聚类或指标聚类，一般用系统聚类法来聚类指标，又称分层聚类

2）逐步聚类法 ：适用于大样本的样本聚类

3）其他聚类法 ：两步聚类、K均值聚类等

九、判别分析

1、判别分析：根据已掌握的一批分类明确的样品建立判别函数，使产生错判的事例最少，进而对给定的一个新样品，判断它来自哪个总体。

2、与聚类分析区别

1）聚类分析可以对样本逬行分类，也可以对指标进行分类；而判别分析只能对样本

2）聚类分析事先不知道事物的类别，也不知道分几类；而判别分析必须事先知道事物的类别，也知道分几类

3）聚类分析不需要分类的历史资料，而直接对样本进行分类；而判别分析需要分类历史资料去建立判别函数，然后才能对样本进行分类

3、进行分类 ：

1）Fisher判别分析法 ：

以距离为判别准则来分类，即样本与哪个类的距离最短就分到哪一类， 适用于两类判别；

以概率为判别准则来分类，即样本属于哪一类的概率最大就分到哪一类，适用于

适用于多类判别。

2）BAYES判别分析法 ：

BAYES判别分析法比FISHER判别分析法更加完善和先进，它不仅能解决多类判别分析，而且分析时考虑了数据的分布状态，所以一般较多使用。

十、主成分分析

将彼此梠关的一组指标变适转化为彼此独立的一组新的指标变量，并用其中较少的几个新指标变量就能综合反应原多个指标变量中所包含的主要信息 。

十一、因子分析

一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法

与主成分分析比较：

相同：都能够起到済理多个原始变量内在结构关系的作用

不同：主成分分析重在综合原始变适的信息.而因子分析重在解释原始变量间的关系，是比主成分分析更深入的一种多元统计方法

用途：

1）减少分析变量个数

2）通过对变量间相关关系探测，将原始变量进行分类

十二、时间序列分析

动态数据处理的统计方法，研究随机数据序列所遵从的统计规律，以用于解决实际问题；时间序列通常由4种要素组成：趋势、季节变动、循环波动和不规则波动。

主要方法：移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模型、向呈自回归横型、ARCH族模型

十三、生存分析

用来研究生存时间的分布规律以及生存时间和相关因索之间关系的一种统计分析方法

1、包含内容：

1）描述生存过程，即研究生存时间的分布规律

2）比较生存过程，即研究两组或多组生存时间的分布规律，并进行比较

3）分析危险因素，即研究危险因素对生存过程的影响

4）建立数学模型，即将生存时间与相关危险因素的依存关系用一个数学式子表示出来。

2、方法：

1）统计描述：包括求生存时间的分位数、中数生存期、平均数、生存函数的估计、判断生存时间的图示法，不对所分析的数据作出任何统计推断结论

2）非参数检验：检验分组变量各水平所对应的生存曲线是否一致，对生存时间的分布没有要求，并且检验危险因素对生存时间的影响。

A 乘积极限法（PL法）

B 寿命表法(LT法)

3）半参数横型回归分析：在特定的假设之下，建立生存时间随多个危险因素变化的回归方程，这种方法的代表是Cox比例风险回归分析法

4）参数模型回归分析：已知生存时间服从特定的参数横型时，拟合相应的参数模型，更准确地分析确定变量之间的变化规律

十四、典型相关分析

相关分析一般分析两个变里之间的关系，而典型相关分析是分析两组变里（如3个学术能力指标与5个在校成绩表现指标）之间相关性的一种统计分析方法。

典型相关分析的基本思想和主成分分析的基本思想相似，它将一组变量与另一组变量之间单变量的多重线性相关性研究转化为对少数几对综合变量之间的简单线性相关性的研究，并且这少数几对变量所包含的线性相关性的信息几乎覆盖了原变量组所包含的全部相应信息。

十五、决策树分析

决策树（决策树）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的对象属性与对象值之间的一种映射关系。熵=系统的凌乱程度，使用算法ID3，C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

十六、其他分析方法

AdaBoost、多重响应分析、距离分祈、项目分祈、对应分祈、、神经网络、系统方程、蒙特卡洛模拟等，这些后面专题说明，太累了~