一、ROC曲线分析

ROC（ReceiverOperatingCharacteristic，受试者工作特征）曲线分析是临床医学和流行病学研究中常用于评价诊断准确性以及确定界值点的方法。

‍1、定义

ROC曲线分析当前在医学领域使用非常广泛，用于研究X（检验变量）对于Y（状态变量）的预测准确率情况以及确定界值点。

ROC曲线的基本思想是把敏感度和特异性看作一个连续变化的过程，用一条曲线描述诊断系统的性能，其制作原理是在连续变量中不同界值点处计算相对应的灵敏度和特异度，然后以敏感度为纵坐标、1-特异性为横坐标绘制一条真阳性率与假阳性率的曲线。

ROC曲线的Y（状态变量）为只有两个类别的结果（例如阳性&阴性、是&否、患病&未患病等）；X（检验变量）可以有很多个；X与Y可以为任意数据类型（定类和定量数据均可）。

例如：预测核酸检测结果（阳性&阴性）的准确率；评价雷达监测（敌机&飞鸟）的准确率等等。

‍2、专业术语说明

ROC曲线分析中有很多专业名词，说明如下表：

ROC曲线如下图：

ROC曲线纵坐标为敏感度——阳性人群中，检测出阳性的概率，希望该值越高越好；横坐标为1-特异性——阴性人群中，检测为阳性的概率，希望该值越低越好。结合横纵坐标的概念，可以得到结论：曲线越往左上角说明预测准确率越高；曲线越往左上角说明曲线下面积越大，即AUC值越大说明预测准确率越高。

‍3、ROC曲线之AUC比较检验

SPSSAU共提供两类AUC比较检验方法，如下：

Hanley&McNeil法：用于独立样本X之间AUC的对比

例如：研究产妇年龄、产妇体重、产妇是否具有高血压三者之间（三个X之间相互独立）与新生儿是否是低出生体重儿的AUC比较。

Delong text：用于配对X的AUC的对比

例如：使用体温判断是否为阳性，每个样本都测量口腔体温与腋下体温，研究两种体温下的AUC的对比。

二、三次核酸检测结果准确率预测

‍1、应用举例

使用SPSSAU系统ROC曲线分析三次核酸检测结果准确率。

医院共收治315例疑似患者，最终确诊COVID-19患者108例，非COVID-19患者207例。首次核酸检测呈阳性73例，累计两次核酸检测呈阳性90例，累计3次核酸检测呈阳性99例，其余9例中6例于第4次核酸检测呈阳性，3例于第5次核酸检测呈阳性。

数据格式如下，1表示阳性，0表示阴性，仅展示部分数据：

数据来源：新型冠状病毒肺炎早期诊断相关因素的Logistic回归及ROC曲线分析-艾金伟

ROC曲线分析结果如下：

新型冠状病毒肺炎早期诊断相关因素的Logistic回归及ROC曲线分析-艾金伟

下面将使用SPSSAU系统，复现结果。

上传数据至SPSSAU系统，选择分析方法——ROC曲线。

SPSSAU输出结果：

AUC即ROC曲线下的面积值介于0到1之间，AUC越接近1说明诊断效果越好；

AUC的判断标准为：

0.5以下不符合实际情况；

0.5时说明完全无诊断价值；

0.5~0.7之间诊断价值很低；

0.7~0.9说明有一定诊断价值；

0.9以上说明诊断价值高。

从ROC结果AUC汇总表可以看出，第1次核酸检测结果诊断价值比较高，检测准确率为0.838；第2次及第3次核酸检测结果诊断价值非常高，检测准确率分别达到0.917和0.958。

最佳界值：即尤登指数的最大值（尤登指数=敏感度+特异度– 1）；最佳界值的意义为ROC曲线最靠近左上角的点，即敏感度和误报率组合的相对最优值。

针对第1次核酸检测，其最佳界值出现在敏感度为0.676，特异度为1时，即在该点时，最靠近左上角（此时整体最优），可通过ROC曲线图更进一步查看，如下图：

特别提示：如果X（检验变量）为定类数据时，此时曲线很可能比较“难看”，原因在于点很少，因而ROC曲线会较“简单”，类似上图。

‍2、ROC曲线其他应用

联合诊断：

在联合诊断中，ROC曲线可以用来比较不同测试或模型的性能，并选择最佳截止点。此外，ROC曲线还可以与其他测试或模型一起使用（称为“融合”），以提高诊断准确性。

例如：目前有10个X，除分别分析每个X对应的AUC值外，还可以计算10个X一起作用时的AUC值。

Logistic回归联合ROC曲线模型预测新型冠状病毒肺炎患者发生危重症的风险-罗蒙

新型冠状病毒肺炎早期诊断相关因素的Logistic回归及ROC曲线分析-艾金伟

机器学习

在机器学习中，ROC曲线可以用来比较不同分类器的性能，并选择最佳截止点。此外，ROC曲线还可以用来评估分类器的鲁棒性，即在不同的数据集上的性能。通过使用ROC曲线，可以帮助确定分类器的最佳参数设置，并在模型训练和测试过程中进行模型选择。

大数据背景下ROC曲线介绍与应用-李子言

三、ROC曲线分析总结

ROC曲线用于研究X（检验变量）对于Y（状态变量）的预测准确率情况以及确定界值点。
ROC曲线是以不同界值点时的敏感度（阳性人群中，检测出阳性的概率）为纵坐标、1-特异性（阴性人群中，检测为阳性的概率）为横坐标绘制的真阳性率与假阳性率曲线。
ROC曲线越接近左上角，AUC值越大，预测准确率越高。
ROC曲线如果越接近45度对角线，预测准确率越低。
ROC曲线在临床医学诊断、心理测评、算法效度研究中都有着广泛应用。