BMC Oral Health：使用口内照片检测不同性别的代表性特征:具有梯度加权类激活映射解释的深度学习模型

在口腔及口周区的治疗中，软硬组织的正确排列对于维持良好的功能和美观是很重要的，这与性别有很强的相关性。两性二态性不仅在人体的整体结构上很明显，而且在口腔内和口腔周围的细节上也很明显。在过去的二十年中，许多研究试图了解性别与口腔内和口腔周围细节之间存在的相关性。例如，义齿学家认为在设计时应通过义齿的形状和颜色分别体现男性和女性的特征。对于牙周病患者来说，研究牙龈形态和厚度的两性二态性有助于牙周手术的规划和临床结果的预测。除了临床牙科的实践外，法医牙医学还使用各种口腔和口腔周围特征，如形态学、牙弓长度和宽度以及腭和嘴唇等软组织，来确定事故和大规模灾难中特定人群的性别。

口腔两性异形的全面研究对临床口腔医学和法医口腔医学都具有重要意义。然而，以往的研究通常只关注部分更明显的特征。口腔作为软硬组织的集合体，隐藏着更多的细节，口腔内照片是一种有价值的信息载体。在法医牙科学中，口腔内照片是鉴定过程中最容易获得的记录形式。对于临床牙科，它是一个理想的治疗目标的重要组成部分。先前的研究结果表明，人类从口腔内照片中提取性别信息的能力有限。只有当口腔内照片是非专业人士和牙科专家区分性别的唯一线索时，准确率才能达到50%左右。不可否认，两性之间存在形态计量学上的差异，但以往的研究结果表明，在门牙区域的照片中，这种差异无法被人眼识别，可能是由于尺度微小或未被注意到的性别差异。

在过去的二十年里，计算机辅助检测在医学上有了显著的发展。由于卷积神经网络(CNN)在图像处理方面的显著优势，卷积神经网络和预训练CNN的变体已被证明在牙科领域取得了成功。然而，主流的另一种深度神经网络——递归神经网络(RNN)，在任务中表现出串行动态行为，之前并没有得到足够的重视。由于锥形束计算机断层扫描(CBCT)中相邻切片之间存在很强的相关性，因此提取片内和片间上下文是RNN在牙科领域的主要应用。R-net是2017年开发的一种基于RNN的基于抽取的阅读理解模型。它解决任务的方式类似于我们做阅读理解:多次读取输入，将问题与输入的相应部分联系起来，汇总从输入中收集到的信息，在迭代中预测答案的开始和结束位置的概率分布后选择最终答案。将R-net应用于牙齿图像处理，可以将许多视觉任务以一种新颖的方式简化为自然语言问题。尽管深度学习方法可能在检测牙齿图像差异方面显示出很大的希望，但由于缺乏解释深度神经网络模型的能力，因此很难从结果中获得额外的信息。Grad-CAM是一种有针对性的技术，用于创建热图，以不同的颜色显示输入图像中不同区域对深度神经网络的重要性。它提供了神经网络在做出决定时所看到的以及如何理解的可视化解释。

在这里，一项开创性的研究提出了使用R-net来探索识别性别的可能性，该研究基于来自10,000名患者的数据集的正面口腔内照片。综合评价表明，基于典型深度学习结构的R-net模型能够达到临床可接受的性别分类准确率，为提高大规模灾害中的识别效率提供了可能。在Grad-CAM的辅助下，对神经网络的分类基础进行反向分析，为义齿、牙周和正畸治疗的个体化提供更精确的切入点。

表1 R-net模型在测试集中的男性检测性能

图1  R-net模型在测试集中处理未裁剪(原始)图像和去除口腔周围软组织的裁剪图像时的性能。结果表明，与其他性别相比，R-net模型在男性检测中具有更高的召回率(灵敏度)和更高的精确度(特异性)。对于裁剪后的图像和来自15岁以下个体的图像，R-net模型的性能下降。* p < 0.05

图2 代表性的高斯热图显示了R-net模型中感兴趣的区域，当处理未裁剪和裁剪的图像时，这些区域被标记为红色。从图a - d可以看出，在处理未裁剪图像时，R-net模型更关注(a)唇部、(b)上颌牙齿周围软组织覆盖区域、(c)下后牙周围软组织覆盖区域、(d)下前牙周围软组织覆盖区域。从图e - i可以看出，R-net模型更关注(e)上前牙、(f)下前牙、(g)下前牙边缘龈、(h)后牙咬合区、(i)前牙咬合区

图3  7-14岁女性群体的代表性高斯热图显示了我们的网络错误预测的感兴趣区域。图a-c显示了通过裁剪来纠正错误的图像。图d-e显示了裁剪后出现错误的图像。图f-g显示了裁剪前后被错误标记的图像

方法：提出一种基于R-net的深度学习模型，利用最大的数据集（10000张口腔内图像）支持性别自动检测。为了反向分析神经网络的分类基础，第二步采用梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM），探索与性别可识别性相关的解剖学因素。基于所提出的特征对图像进行模拟修改，验证了特征在两性之间的重要性。使用精密度（特异性）、召回率（灵敏度）和接收者工作特征（ROC）曲线来评估我们的网络的性能。采用卡方检验评价组间差异。p < 0.05为差异有统计学意义。

结果：与人类专家相比，深度学习模型对口腔内图像的特征学习能力较强，未裁剪图像数据组和裁剪图像数据组的准确率分别为86.5%和82.5%。与口腔内暴露的硬组织相比，软组织覆盖区域的性别差异更容易识别，下颌区比上颌区更明显。对于模拟去除嘴唇和基底骨以及重叠牙龈的照片，下颌前牙与上颌前牙在性别确定方面具有相似的重要性。

结论：深度学习方法可以高效、准确地从口腔内照片中检测出性别。在Grad-CAM的辅助下，破解了神经网络的分类基础，为修复、牙周和正畸治疗的个体化提供了更精确的切入点。

文献来源：

Zhou Y,  Jiang F,  Cheng F,Detecting representative characteristics of different genders using intraoral photographs: a deep learning model with interpretation of gradient-weighted class activation mapping.BMC Oral Health 2023 May 25;23(1)