Estrade V, Daudon M, Richard E, Bernhard JC, Bladou F, Robert G, Denis de Senneville B. Towards automatic recognition of pure and mixed stones using intra-operative endoscopic digital images. BJU Int. 2022 Feb;129(2):234-242. doi: 10.1111/bju.15515. Epub 2021 Jul 14. PMID: 34133814; PMCID: PMC9292712.

内窥镜数字图像自动识别纯结石和混合结石

使用在临床环境中获得的术中数字内窥镜图像评估纯和混合尿路结石形态特征的自动计算机辅助原位识别。材料和方法 在这项单中心研究中，一位拥有 20 年经验的泌尿科医生在术中前瞻性地检查了所有遇到的肾结石的表面和切片。收集并分类一水草酸钙 (COM) 或 Ia、二水草酸钙 (COD) 或 IIb 和尿酸 (UA) 或 IIIb 形态标准，以生成带注释的数据集。训练深度卷积神经网络 (CNN) 来预测纯石头和混合石头的成分。为了解释深度神经网络模型的预测，绘制了粗略的定位热图以精确定位网络识别的关键区域。结果 该研究分别包括 347 次和 236 次石材表面和石材截面的观察；约 80% 的结石仅表现出一种形态类型，约 20% 表现出两种。对于使用表面图像的“纯 IIIb/UA”类型，获得了 98% 的最高灵敏度。最常见的形态是“纯 Ia/COM”类型。分别使用表面和截面图像在 91% 和 94% 的情况下正确预测了它。在混合型“Ia/COM + IIb/COD”中，84% 的病例使用表面图像预测 Ia/COM，70% 的病例预测 IIb/COD，65% 的病例同时预测 Ia/COM。对于混合性 Ia/COM + IIIb/UA 结石，91% 的病例使用切片图像预测 Ia/COM，69% 的病例预测为 IIIb/UA，74% 的病例同时预测 Ia/COM。结论 这项初步研究表明，深度 CNN 是一种很有前途的方法，可以从术中获得的内窥镜图像中识别肾结石成分。可以区分纯石和混合石成分。在临床环境中收集，由深度 CNN 分析的表面和切片图像为计算机辅助诊断提供了有关结石形态的有价值信息。

泌尿结石的现代内窥镜治疗现在依赖于激光（钬：YAG）碎石，可以使用“爆米花”[ 1 ]、“除尘”模式 [ 2 ] 或最近通过铥光纤激光 (TFL) 进行) [ 3 , 4 ]。激光碎裂可能会破坏目标结石的形态 [ 5 ]，然而，结石形态分析对于结石病的病因诊断至关重要 [ 6 , 7 , 8 ] 以及开发新的即刻术后治疗策略以消除潜在的复发概率较低的残留结石碎片 [ 9]。例如，草酸钙一水合物（COM [或 Ia]）或草酸钙二水合物（COD [或 IIb]）标准将支持立即开具含柠檬酸钾饮食的处方，如 Soygür 等人所述。[ 10 ]。尿酸 (UA [或 IIIb]) 形态学标准的识别将引导医学决策转向术后用柠檬酸钾或碳酸氢钠碱化尿液以溶解残留碎片 。完整的形态分析工作流程通常包括以下两个互补步骤：一个术中步骤，由泌尿科医师进行，包括在内窥镜检查的基础上对整个结石在破坏前的原位形态进行检查。此步骤通常称为内窥镜结石识别 (ESR) [ 12 ]。内窥镜图像可以方便地获得前（表面图像）和后（断面图像）碎片，从而提供有价值的形态信息。埃斯特拉德等人。[ 12] 最近表明，ESR 允许识别以下形态：COM，也称为 Ia、Ib、Id 或 Ie 类型（拉丁字母表中的下标区分形态亚型，每个亚型与特定病因相关），COD（或 IIa /IIb)、UA（或 IIIa/IIIb）、碳磷灰石（或 IVa1）、碳磷灰石和鸟粪石（或 IVb）、透钙磷石（或 IVd）和胱氨酸（或 Va）。术后步骤，由生物学家执行，包括基于微观形态学（即双目放大镜）和分光光度红外识别（傅里叶变换红外光谱 [FTIR] 分析）收集形态构成结石信息 [ 6 , 7 , 8 ]。尿路结石的国际形态构成分类包括七组（用罗马数字“I”到“VII”表示），每组都与特定的结晶类型相关（I = 乳石，II = 威德石，III = 尿酸和尿酸盐， IV = 磷酸钙和非钙磷酸盐，V = 胱氨酸。VI 和 VII 组专门用于其他结石）。每个组包含几个亚组，用于区分给定晶体类型的形态和病因。此外，尿路结石具有混合形态，即它们至少包括两种形态（几乎所有病例的一半）。感兴趣的读者可以参考 Corrales 等人。[ 13 ] 了解有关国际尿路结石形态构成分类的更多信息。最近，一种人工智能 (AI) 算法应用于各种类型的离体结石显微图像，被证明是使用围术期和术后图像进行自动 ESR 的有前景的资产。而塞拉特等人。[ 14 ] 将石头的纹理和颜色特征输入随机森林分类器，Black 等人。[ 15 ] 使用深度卷积神经网络 (CNN) 获得了大大提高的分数。然而，这两种方法都使用离体放置在受控环境中的石块。图像不受运动模糊、镜面反射或场景照明变化的干扰，这在术中内窥镜成像过程中通常会发生。最近的工作展示了自动化 ESR 方法的潜力，该方法使用在临床条件下使用输尿管镜在三种类型的纯结石（Ia/COM、IIb/COD 和 IIIb/UA）上获得的体内图像，来自 125幅肾结石图像[ 16、17 ] .在破坏前对整个结石进行形态学检查可提供最佳诊断一致性 [ 6 , 7 , 8 , 12 , 13 ]。此外，Corrales 等人。[ 13 ] 表明，几乎一半的泌尿系结石具有两种甚至三种不同结晶成分的混合形态。因此，必须改进人工智能应用程序以应对这一挑战。本研究有三个目标。首先，我们旨在原位报告纯和混合尿结石（这些混合结石由本研究范围内的两种形态组成）的形态成分的自动 ESR 的初步结果，并使用在临床环境中获取的术中内窥镜图像；该项目中使用的图像是通过输尿管镜在不受控制的环境中捕获的。此外，在此设置中评估了深度神经网络的整体性能。其次，我们旨在分析从激光碎裂前后获得的图像计算出的诊断分数。第三，我们试图理解深度神经网络在这种情况下做出的决定。具体来说，深度 CNN 的一个常见问题是它们无法明确显示模型所学的内容，因此，它们通常被称为“黑盒”算法。反过来，从深度 CNN 计算的预测也很难解释。目前，人们对开发强大的验证程序来解决这个关键问题越来越感兴趣。在目前的研究中，材料和方法学习规划一位泌尿科医师（VE；20 年经验）使用柔性数字输尿管肾镜（Olympus URF-V CCD 传感器）前瞻性地检查了 2018 年 1 月至 2020 年 11 月期间在单个中心采集的结石的术中内窥镜数字图像。内窥镜检查包括目视观察结石表面。然后，进行激光诱导的两部分碎石（激光 [钬：YAG] 参数：频率 = 5 Hz；能量 = 1.2-1.4 J；功率 = 6-7 W；脉冲长度 = 短；光纤直径 = 230或 270 µm）。然后对该部分进行第二次目视观察。需要时进行额外的碎裂会议，从而可以碎裂所有类型的纯宝石和混合宝石。随后，ESR 通过基于形态学（双目放大镜）和红外 (FTIR) 分析的激光碎石的显微镜观察得到证实。该研究遵守所有当地法规和数据保护机构的建议（国家数据隐私委员会的要求）。患者被告知他们的数据将被匿名使用。形态标准根据 Estrade 等人概述的建议收集和分类形态学标准。[ 12 ]。选择由 Ia/COM、IIb/COD 和 IIIb/UA 形态组成的结石。因此，本研究包括五个形态类别，其中三种纯结石（Ia/COM、IIb/COD 和 IIIb/UA）和两种混合结石分为两种形态（Ia/COM + IIb/COD 和 Ia/COM + IIIb /UA)。计算机辅助内窥镜结石识别分析生成带注释的数据集生成了两个带注释的数据集：第一个包含表面图像（以下称为“表面数据集”），第二个包含剖面图像（以下称为“剖面数据集”）。所有图像都被自动裁剪并重新采样为 256 x 256 像素的相同大小，然后作为自动 ESR 算法的输入。自动内窥镜结石识别算法训练深度 CNN 来预测纯石头和混合石头的成分。作为多类分类模型，深度 CNN 是 ResNet-152-V2 [ 18 ]。用于训练深度学习模型的优化器算法是 Adam (learning_rate = 0.001) [ 19 ]。损失函数是一个分类交叉熵 ()。批量大小为 8，执行了 100 个 epoch。为了提高网络的泛化能力，通过数据增强扩展了训练数据集。在我们的实现中，在训练期间应用了水平/垂直翻转和仿射变换，包括缩放（范围 = 0.3）、旋转（范围 = 50°）和平移（范围 = 总宽度/高度的 0.2）的随机组合。分别构建了两个网络：一个使用表面数据集，另一个使用截面数据集。激活图为了解释深度 CNN 的预测，绘制了粗略的定位热图以精确定位网络识别的关键区域。为此，如 Selvaraju 等人所讨论的，显示了使用梯度加权类激活映射（或 Grad-CAM）方法的激活图。[ 20 ]。实施细节我们的实现是使用 TensorFlow 1.4 和 Keras 2.2.4 执行的。上提供的 Keras 图像预处理工具用于数据增强。统计分析自动内窥镜结石识别的定量评估对于表面数据集和截面数据集，石头被随机分为补充训练（70%）和测试（30%）子集（分层分割/无冗余）。使用随机打乱的组合重复交叉验证步骤 10 次以进行训练和测试。对于深度 CNN 算法，还使用不同的随机初始化种子重复了整个过程。报告每个步骤的平均测试指标：准确性、ROC 曲线下面积 (AUROC)、特异性、敏感性、阳性预测值、阴性预测值、错误预测率和假阴性率。有关这些测试指标的更多信息，请参阅 Kohavi 等人。[ 21 ] 和康托尔等人。[ 21 , 22]。关于混合结石，在预测至少一种纯形态（注意混合结石在本研究范围内由两种纯形态组成）和预测两种形态时评估测试指标。激活图的定性评估分别对表面和截面图像进行了激活图的定性（视觉）观察。当激活图中的热点位于以下位置时，计算正确分类和错误分类的图像数量：（i）在结石内，（ii）在结石外和（iii）在内窥镜尖端上方。结果结石特性该研究包括对石头表面的 347 次观察（纯石头：Ia = 191/150 [图像数/独特石头数]，IIb = 53/48，IIIb = 29/23；混合石头：Ia + IIb = 64/54 , Ia + IIIb = 10/9) 和 236 次结石切片观察结果（纯结石：Ia = 127/96，IIb = 30/29，IIIb = 25/22；混合结石：Ia + IIb = 31/26，Ia + IIIb = 23/15）。数字 1显示了在激光碎裂之前为每种纯石头形态获得的原位内窥镜图像的代表性示例（表面图像）。激光破碎后获得的图像（截面图像）如图 1 所示。 2. 三种纯石形态（无花果前三排1,2) 具有以下视觉特征：Ia/COM：激光碎裂前 (1a)：光滑或乳头状的深棕色表面；激光碎裂后 (2a)：致密的同心层，具有从核开始的辐射组织。IIb/COD：激光碎裂前 (1c)：黄色或浅棕色表面，带有光滑的长双锥体晶体（如小沙漠玫瑰）；激光碎裂后 (2c)：致密组织不良的淡棕黄色结晶部分。IIIb/UA：激光碎裂前 (1e)：粗糙、多孔的表面，具有不均匀的米色至橙红色；激光碎裂后 (2e)：组织不良、多孔的赭色至橙色结构。

图1 激光碎裂前获得的具有代表性的自动内窥镜结石识别结果（表面图像）。显示了正确（左图）和错误分类图像（右图；最左侧报告的类型未被网络识别）的示例。报告了每种石材成分的原位表面图像（每个面板的左图）。Ia/草酸钙一水合物、IIb/草酸钙二水合物和IIIb/尿酸纯形态报告在前三行。对于每块混合宝石（最后两行），可以看到相应纯形态的混合物。激活图（每个面板的右图）显示了网络集中注意力的区域。

图 2 激光碎裂后获得的具有代表性的自动内窥镜结石识别结果（切片图像）。显示了正确（左图）和错误分类图像（右图：最左侧报告的类型未被网络识别）的示例。报告了每种宝石成分的原位切片图像（每个面板的左图）。Ia/草酸钙一水合物、IIb/草酸钙二水合物和IIIb/尿酸纯形态报告在前三行。对于每块混合宝石（最后两行），可以看到相应纯形态的混合物。激活图（每个面板的右图）显示了网络集中注意力的区域。还显示了 Ia + IIb 和 Ia + IIIb 混合结石的原位内窥镜图像的代表性示例（图1,2，最后两行）。对于每一个，上面提到的三个纯形态中的相应两个的组合都是可见的。内镜下结石自动识别的诊断性能表面数据集的测试子集包括 105 颗泌尿系结石（纯结石：Ia = 57，IIb = 16，IIIb = 9；混合结石：Ia + IIb = 20，Ia + IIIb = 3）。该部分数据集的测试子集包括 70 颗泌尿系结石（纯结石：Ia = 38，IIb = 9，IIIb = 7；混合结石：Ia + IIb = 9，Ia + IIIb = 7）。桌子 1详细介绍了深度 CNN 分类器对每种测试的纯类型的诊断性能。使用表面图像获得了 IIIb 型结石的最佳灵敏度（98% 的 IIIb 结石正确预测）。最常见的形态是“纯 Ia”型；分别使用表面和截面图像在 91% 和 94% 的情况下正确预测了它。平均而言，纯宝石和混合宝石的准确率均高于 87%。

AUROC，受试者工作特征曲线下面积；FNR，假阴性率；FPR，错误预测率；NPV，阴性预测值；PPV，阳性预测值。当预测至少一种纯形态（本研究中 NB 混合结石由两种纯形态组成）以及预测两种形态时，使用表面和截面图像评估测试指标。

图 3 使用表面 ( A ) 和部分 ( B ) 数据集获得的实现深度卷积神经网络分类器的混淆矩阵。矩阵的每一列代表一种实际的石头类型，而每条线代表一种预测的类型。绿色对角单元格显示数量（通过交叉验证平均）和训练网络正确预测的百分比。红色非对角单元格对应于错误预测的观察结果。最右侧的列显示阳性预测值（绿色数字）和错误发现率（红色数字）。底行显示敏感性（绿色数字）和假阴性率（红色数字）。右下角的蓝色单元格显示正确（绿色）和错误（红色）预测的总体百分比。激活图的定性表现数字1和2还显示了分类网络将注意力集中在表面的图像区域（图 1）。 1) 和剖面数据集 (图. 2）， 分别。激活图叠加在数字内窥镜图像上，以确定分类模型在决策过程中是否依赖相关泌尿外科区域。例如，通常在乳头状深褐色区域观察到 Ia 热点，这是 Ia 的标志。在 98% 的正确分类图像中发现了特征性石头特征上的热点（使用表面或截面图像，参见图1,2）。分别在 33% 和 25% 的错误分类的表面和剖面图像中发现了石头外的热点（图 2）。 1天）。类似地，内窥镜的尖端分别出现在 5% 和 2% 的错误分类表面和断面图像的图像视野中（图 3 中的红色箭头）。 1小时）。讨论在本研究中，我们评估了一种深度学习模型，以根据在临床环境中获取的术中内窥镜数字图像原位预测纯结石和混合结石的形态。需要学习曲线来获得 ESR 技能，这可能会限制其转化为实际应用，尤其是在涉及混合结石形态时 [ 12 ]。计算机辅助方法可以提供可重复的结果并最大限度地减少对操作员的依赖，同时协助对结石形态进行视觉解释。正如 Estrade 等人的研究报告的那样。[ 812 ]，在碎裂之前，ESR 可能有益于保留结石病的病因学方法。动机是双重的。首先，激光碎裂（钬：YAG 和 TFL），无论是使用“爆米花”[ 1 ] 还是“除尘”模式 [ 2 ]，都会不可逆转地破坏结石形态。结石粉末本身的术后 FTIR 检查可能无法为成岩阶段提供足够的信息 [ 6 , 7 , 8 , 9 ]。其次，在使用高频 TFL [ 2 , 3 ,4、5 ]。_ 这反过来可能会影响 FTIR 粉尘检查：人们可以观察到 IR 从 COD 向 COM 的变化，IR 向碳磷灰石中的无定形相变化，IR 向磷酸铵镁中不同的无定形结晶相的变化以及 IR 从透钙磷矿向碳磷灰石的变化 [ 5 ]。我们专注于涉及 Ia/COM、IIb/COD 和 IIIb/UA 形态的纯结石和混合结石。该策略是由尿路结石发生的流行病学分布驱动的，以获得足够大的人群以采用相反的统计方法 [ 23 ]。这些形态类型涵盖了泌尿科医生在日常实践中遇到的几乎 85% 的最常见结石 [ 6 ]。我们的内窥镜图像数据集将在未来的研究（我们机构正在进行）中补充更多纯和混合的石头图像，以增加要预测的形态数量。此外，如果网络能够在更大的数据集上进行训练，则自动 ESR 得分可能会提高。应该注意的是，盐水中飞来飞去的颗粒可能会干扰形态学检查。要正确识别结石表面的颜色和纹理，需要等待几十秒，直到盐溶液将肾腔内的尿液清洗干净。然后，一旦石头被分成两部分，在盐溶液清除石头的微粒之前再次需要等待几秒钟。在本研究中，使用输尿管通路鞘来改善盐水流动。然而，在实践中，在没有输尿管通路鞘的情况下，只需几秒钟即可使用盐水血清进行完全清洁。应该强调的是，在本研究中用于训练的图像中不存在在盐水中飞来飞去的颗粒。还应该强调的是，内窥镜视频图像需要在短时间内（5-10 秒）具有足够的稳定性才能获得良好的静止帧。任何运动事件都可能影响图像质量，进而影响我们训练有素的网络的预测。在本研究中，受过训练的泌尿科医生 (VE) 多次尝试获得清晰的屏幕截图（平均两次尝试，最多四次）。在未来的工作中可能会研究几种策略，以提高该方法在用于运动损坏的内窥镜图像时的性能。可以使用专用的运动补偿超分辨率技术从低质量图像系列中获得增强的高质量图像 [ 24]。此外，涉及模拟模糊和运动事件的数据增强技术可以进一步提高网络对运动损坏的内窥镜图像的泛化能力[ 25 ]。训练步骤期间任何未观察到的事件/图像伪影可能反过来干扰我们训练的网络的预测。在未来的研究中，必须开发对输入图像的自动化和可靠的质量控制，以检测网络的潜在故障模式。然后建议泌尿科医师在专门的实验室采取激光碎石进行术后红外（FTIR）检查。表面和切片图像的处理为计算机辅助诊断提供了有关结石形态的宝贵信息。在实践中，表面图像中的形态特征的识别比截面图像（甚至在细胞核处）更容易，如 Estrade 等人所示。[ 12 ] 和 Bergot 等人 [ 26 ]。因此，我们的表面数据集通常比我们的剖面数据集更密集（混合 Ia + IIIb 石头除外，其剖面图像更好地揭示了两种形态类型）。然而，发现表面数据集的诊断性能与剖面数据集的诊断性能相当（图 2）。 3; 蓝色细胞）。相比之下，截面数据集的诊断性能优于纯 IIIb/UA 的表面数据集（表 1）。因此，表面和截面图像可以根据补充和冗余信息提供交叉验证诊断的来源。我们相信，可以将每块石头的配对表面和截面图像合并到 CNN 中，以提高预测的准确性。注释数据集必须准确，因为 ESR 的任何主观性或泌尿科医生的潜在偏见都可能转移到网络模型中。内窥镜数字图片和显微镜之间的一致性研究可以提供与特定病因或成石机制相对应的结石的确认 ESR 图像 [ 12 ]。除了自动 ESR 之外，激活图可以成为测试在决策过程中分类模型是否依赖于相关泌尿系统区域的重要工具。此外，本研究表明，位于石头外的热点会导致错误分类。能够有效处理大量特定图像的深度 CNN 正在为视频的自动 ESR 铺平道路，这将进一步提高分类分数的准确性。这将需要开发专门的算法来“动态地”去除图像中可能使网络产生偏差的无关区域，例如内窥镜尖端和周围组织周围的区域等。总之，结合根据 Estrade 等人发表的标准确认的内窥镜数字图像。[ 12 ]，人工智能是由两种形态组成的纯和混合尿结石形态特征的自动 ESR 的良好候选者。这项研究是朝着几种形态的混合结石的自动 ESR 迈出的第一步。激活图可能被证明是泌尿科医生在术中了解 AI 模型做出的预测的重要资产。这在模型准确性至关重要的医疗应用中尤其重要。结合已确认的内窥镜图像的教学板，计算机辅助诊断和相关的激活图可能有助于泌尿科医生原位识别结石在销毁前使用内窥镜检查。激光碎石的自动术中 ESR 和术后红外 (FTIR) 检查相结合将改善结石病的病因学方法。