Kappa一致性检验是一种用于评价两个或多个观察者对同一样本分类结果一致性的统计方法。它通过计算观察值与期望值的比率，来判断不同观察者的分类结果是否具有一致性。Kappa在MSA测量系统中比较常用。

什么是 kappa？

Kappa一致性系数是由 Cohen 在 1960 年首次提出，用来评估两个或多个观察者对样本分类的一致性程度。

其计算公式为:

Kappa = (PA-PE)/(1-PE)

其中，PA 表示观察一致概率，PE 表示期望一致概率。PA 反映了两位观察者分类结果的实际一致程度，PE 反映了两位观察者分类结果的随机一致概率。

Kappa 值的范围为–1 到 +1。kappa 值越高，一致性就越强。当：

Kappa =1，为完全一致；Kappa=0，一致的情况只是碰巧发生;一致性越强，Kappa 值越高；当一致性比碰巧发生的机率还低时，Kappa 为负值，但这很少发生。随应用范围不同，一般来说，Kappa 小于0.8 表示测量系统需要改善，而Kappa 大于0.9表示测量系统佳。

测量系统分析MSA中建议 kappa 值至少为 0.75 表示一致性强。但是，最好使用较大的 kappa 值，如 0.90。

Kappa适用领域

Kappa经常在各种科学和工程领域中使用，特别是在气象学、统计学和机器学习中。

1、气象学：在气象学中，Kappa 用于描述大气的不透明度，即大气中悬浮颗粒物对阳光的散射和吸收作用。Kappa 值越高，表示大气的不透明度越高，能见度越低。

2、统计学：在统计学中，Kappa 系数通常用于衡量分类准确度。它是一个用于比较实际分类与随机分类的指标，考虑到了随机预测的准确性。Kappa 值介于-1和1之间，其中1表示完美分类，0表示分类准确度与随机猜测相同，负值表示分类准确度低于随机猜测。

3、机器学习：在机器学习中，Kappa 系数是用于衡量分类模型性能的一种指标，尤其在处理不平衡数据集时。它考虑了模型预测的正例和负例的准确性。与统计学的 Kappa 系数类似，机器学习中 Kappa 值的范围也是-1到1。

4、其他领域：除了上述领域外，Kappa 还可能出现在其他科学和工程领域中，用于描述不同的物理、化学或工程过程。

Kappa 系数是一个广泛用于评估分类模型性能的统计方法，特别是在处理不平衡数据集时。它衡量了模型预测结果与实际分类结果的一致性程度，有助于我们了解模型在各种情况下的性能表现。

首先，Kappa 系数通过比较模型预测的正例和负例与实际分类的正例和负例，计算出模型预测的准确性。这使得 Kappa 系数成为一种更全面的评价指标，因为它不仅考虑了模型预测正例的准确性，还考虑了预测负例的准确性。

其次，Kappa 系数还有一个重要的特点，就是它可以与随机猜测进行比较。如果 Kappa 系数接近于0，说明模型的分类准确度与随机猜测相当，没有明显的预测价值。而如果 Kappa 系数接近于1，说明模型的分类准确度非常高，能够很好地预测分类结果。

此外，Kappa 系数还具有很好的可解释性。由于它的取值范围在-1到1之间，我们可以直观地理解模型的分类性能。例如，如果 Kappa 系数为0.8，这意味着模型正确预测了80%的样本分类结果。

除了在机器学习中应用外，Kappa 系数还广泛用于其他领域，如生物医学、社会学等。在这些领域中，Kappa 系数通常用于评估分类器或分类算法的性能，以便更好地了解其在实际应用中的效果。

总之，Kappa 系数是一个非常有用的统计指标，可以用于评估分类模型的性能。它不仅考虑了模型预测的准确性，还与随机猜测进行了比较，具有很好的可解释性。通过使用 Kappa 系数，我们可以更好地了解模型的分类效果，并在实际应用中做出更好的决策。

Kappa一致性检验的计算步骤

Kappa 一致性检验的计算主要可以分为以下几个步骤：

(1) 构建交叉表：先对两个观察者的分类结果构建一个 m*m 的交叉表(观察者 1 的分类结果为行，观察者 2 的分类结果为列)。交叉表中的观察频数作为后续计算的基础。

(2) 计算观察一致概率 PA：PA 为交叉表对角线上观察值之和与总样本量 n 的比值，表示两个观察者分类一致的比例。

(3) 计算期望一致概率 PE：PE 的计算公式为:PE=∑(每一行总数*对应列总数)/n^2

(4) 计算 Kappa 系数：将 PA 和 PE 代入公式 Kappa = (PA-PE)/(1-PE)计算即可。

案例分析：

某工厂请两位操作员根据特征现判断 80 个缺陷类型,他们的判断结果如下表所示:

对上表数据进行 Kappa 一致性分析，计算过程如下:

(1) 总样本量 n=80

(2) 观察一致概率

PA = (12+16+18+17)/80=0.7875

(3) 期望一致概率

PE= (15*15+19*20+23*24+23*21)/80^2=0.25625

(4) Kappa = (0.7875-0.25625)/(1-0.25625)=0.7143

更多专业质量文章，请访问QualityIn质量学院官网

One More Thing

「全价值链质量工具实操知识」明星家族产品

每个人都值得拥有的质量知识宝典

随时学习，指导工作！

▼▼▼