跳转至主要内容

基于深度学习的自动骨破坏评估系统,使用来自其他关节的上下文信息

摘要

背景

x线图像通常用于评估类风湿性关节炎的骨破坏。本研究的目的是提出一种充分利用深度神经网络(DNN)的自动骨破坏评估系统。该系统从手部x光图像中检测所有改进的Sharp/van der Heijde评分(SHS)的目标关节。然后将每个目标关节分类为完整(SHS = 0)或不完整(SHS≥1)。

方法

我们使用了40例类风湿关节炎患者的226张手部x光片。至于检测,我们使用了一个叫做DeepLabCut的DNN模型。在分类方面,我们建立了4个分类模型,将检测到的关节分为完整和不完整。第一个模型独立地对每个关节进行分类,而第二个模型是在比较同一对侧关节时进行分类的。第三个模型比较了一只手的同一关节组(例如,近端指间关节),第四个模型比较了两只手的同一关节组。我们对DeepLabCut的检测性能和分类模型的性能进行了评估。将分类模型的性能与三位整形外科医生进行比较。

结果

所有目标关节的糜烂和关节间隙变窄(JSN)检出率分别为98.0%和97.3%。在四种分类模型中,比较同一对侧关节的模型对于侵蚀和JSN的f -测度(0.70,0.81)和精度-回忆曲线(PR-AUC)曲线下面积(0.73,0.85)最好。对于糜烂,该模型的F-measure和PR-AUC均优于骨科医生的最佳结果。

结论

提出的系统是有用的。所有的目标关节都被检测到,具有较高的精度。比较同一对侧关节的分类模型在糜烂方面表现优于骨科医生。

介绍

评估骨破坏的存在对诊断类风湿关节炎(RA)很重要[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ]。在临床环境中,通常通过观察x光图像来尽可能准确地估计骨破坏[世界杯2022赛程表比赛直播 ]。如果x线图像显示骨破坏迹象,则RA诊断的机会明显增加,更有可能建议早期药物治疗[世界杯2022赛程表比赛直播 ]。

修正的Sharp/van der Heijde评分(SHS) [世界杯2022赛程表比赛直播 ]是一种常用的x射线评估骨破坏的指标[6,7,世界杯2022赛程表比赛直播 ]。SHS有两个评估项目:侵蚀和关节间隙狭窄(JSN)。对每只手和手腕的16个关节进行侵蚀评估,对15个关节进行JSN评估。侵蚀的SHS有0 ~ 5级的6个等级,JSN的SHS有0 ~ 4级的5个等级[世界杯2022赛程表比赛直播 ]。

在分级中,0(完整)和其他(不完整)之间的分类是RA早期诊断最重要的任务[世界杯2022赛程表比赛直播 ]。然而,即使对RA专家来说,通过目测进行这种二元分类也是困难的,原因有三。

首先,通过目测对所有关节进行二值分类是耗时的[世界杯2022赛程表比赛直播 ,9,10,世界杯2022赛程表比赛直播 ]。第二,准确稳定的分类需要广泛的实践经验。第三,尽管每个RA专家都尽其所能尝试分类,但很难避免专家内部和专家之间的变异性。这三个问题使得在实际的临床实践中很难进行二元分类。

本研究的目的是通过充分利用最近的人工智能(AI)技术,提出一种名为深度神经网络(DNN)的骨破坏自动评估系统(以下简称“骨破坏自动评估系统”)。该系统首先从手部的一张x光图像中检测出所有目标关节。然后将每个目标关节分类为“完整”(SHS = 0)或“不完整”(SHS≥1)。

这项研究的贡献有两个方面。首先,所提出的系统是第一个能够自动检测所有目标关节的系统。至于之前研究中开发的方法[12,13,世界杯2022赛程表比赛直播 ,亮度的变化被用来检测目标关节。由于其复杂的结构,目标关节被限制在近端指间关节(PIP)、拇指指间关节(IP)和掌指关节(MCP) [12,13,世界杯2022赛程表比赛直播 ]。为了检测所有的目标关节,我们引入了一个DNN模型称为DeepLabCut,通过对不同目标的模型进行再训练,可以准确地检测出各种目标[世界杯2022赛程表比赛直播 ]。

其次,提出的系统是第一个对每个关节执行二元分类的系统,同时利用来自其他关节的“上下文”信息。至于风湿性关节炎,骨破坏是双侧对称进行的[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ,16,17,世界杯2022赛程表比赛直播 ]。因此,在阅读RA患者的x线图像时,比较两只手是有用的[世界杯2022赛程表比赛直播 ,19,20.,世界杯2022赛程表比赛直播 ]。此外,同一关节组的骨破坏,如PIP关节,其进展往往相似[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ]。这些相关关节的比较常用于风湿性关节炎的诊断。因此,我们提出了一种利用相关关节的信息来评估目标关节的方法。

材料和方法

数据集

机构审查委员会批准了这项研究。我们使用了从2008年到2019年在9家医院中40名被诊断为风湿性关节炎并接受药物治疗的患者的226张手部x光片(图1)。世界杯2022赛程表比赛直播 )。表格世界杯2022赛程表比赛直播 显示了患者的特点和医院之间的故障。所有x光片都完全包含了目标关节。没有图像被图像质量排除在外。三位治疗RA的骨科医生一致将每个目标关节的ground-truth (GT)附加为“完整”或“不完整”(图5)。世界杯2022赛程表比赛直播 )。每个关节的完整gt和非完整gt的数量见表世界杯2022赛程表比赛直播 。有些关节偏向于完整或不完整,这种偏向被称为“类不平衡”,对DNN的预测性能产生不利影响[世界杯2022赛程表比赛直播 ]。我们应用了数据增强[世界杯2022赛程表比赛直播 来缓解这种阶级不平衡。

图1
图1

数据集如何生成的流程。本研究的对象是2008年至2019年在9家医院接受治疗的40名类风湿性关节炎患者。所有患者都进行了双手x光检查。当一个病人拍了不止一张x光片时,至少每隔1年就要拍一次x光片;3例1次,5例2次,30例3次,1例4次,1例6次。总共有113例双手x光(即226例单手x光)。三位骨科医生拿到了完整的手部x光片,并将每个目标关节的ground-truth (GT)标为“完整”或“不完整”

表1各医院患者特征
表2每个目标关节完整或不完整图像数量的分解

方法(概述)

数字世界杯2022赛程表比赛直播 概述了所提出的自动骨破坏评估系统,该系统由三个步骤组成。首先,检测模型从输入的手部x射线图像中检测目标关节(侵蚀为16个关节,JSN为15个关节)的中心点(图。世界杯2022赛程表比赛直播 A).接下来,在检测到的中心点周围裁剪每一张关节图像。然后将裁剪后的图像输入到分类模型中进行二值分类(图15)。世界杯2022赛程表比赛直播 B)。

图2
图2

所提出的骨破坏自动评估系统概述。一个将手的x射线图像输入检测模型(DeepLabCut)。DeepLabCut检测评价关节的中心点合成关节(目标):16个关节侵蚀(4 PIP关节,拇指的IP连接,5 MCP关节,中央军委联合的拇指,多角的,舟状,新月状的,半径,和尺骨)和15个关节JSN (4 PIP关节,5 MCP关节,关节3 CMC, multangular-navicular联合,capitate-navicular-lunate联合,桡腕关节)。每个点表示被检测到的目标关节的中心点。根据检测到的中心点对每个关节图像进行裁剪(红色边框)。B将每一张裁剪后的图像输入到分类模型中,分类模型输出输入图像是完整的(SHS = 0)还是不完整的(SHS≥1). SHS, Sharp/van der Heijde评分;皮普,近端指间;知识产权,指节间的;MCP,掌指的;CMC、腕掌的;JSN,关节间隙变窄

检测模型的训练

作为检测模型,DeepLabCut [世界杯2022赛程表比赛直播 ],被提议用于在视频图像中检测和跟踪动物的关节。DeepLabCut从输入图像中估计每个关键点(关节)的位置。这种检测模型有三个优点:第一,通过用不同的目标对其进行再训练,可以应用于各种对象;第二,可以用几个标记的训练数据来训练它;第三,它可以通过学习关节的结构(例如相互位置关系)来准确地检测关节。因此,我们使用DeepLabCut来检测目标关节。

在DeepLabCut的训练中,从226张x射线图像中随机选取20张x射线图像,调整大小为256 × 256像素。然后,对这20张图像中的每一张,都由整形外科医生对目标关节的中心点进行标注。最后,用这些训练图像训练两个DeepLabCut模型:一个检测目标关节糜蚀(16个关节),另一个检测目标关节JSN(15个关节)。

模型分类

建立了几种二元分类模型,并通过实验对其性能进行了比较。数字世界杯2022赛程表比赛直播 图A为基线模型,称为单输入单输出(SISO)模型。SISO模型是最简单的,它独立地对每个检测到的关节进行分类。换句话说,它不利用关于其他关节的信息。作为SISO模型的主干,一个VGG16 [世界杯2022赛程表比赛直播 ,它有一个典型的卷积神经网络[世界杯2022赛程表比赛直播 结构和高的物体识别性能,被采用。众所周知,使用大型但非目标数据集对神经网络模型进行预训练可以提高其性能。因此,ImageNet预先训练了VGG16 [世界杯2022赛程表比赛直播 ,然后进行了微调[世界杯2022赛程表比赛直播 ]通过使用(有限数量的)关节图像。

图3
图3

二元分类模型和相同关节群的概述。我们开发了四种分类模型:一个一个最基本的分类模型,独立地将每个关节分类为完整(SHS = 0)或不完整(SHS≥1)(单输入单输出模型)。B输入双手相同关节,分别输出完整或不完整的分类模型(特定关节处的多输入多输出模型)。C一个分类模型,接收一只手的同一关节群的输入,分别输出它们是否完整(一只手是多输入多输出模型)。D一种分类模型,分别接收双手和输出的同一关节组的输入,无论是否完整(双手多输入多输出模型)。E双手相同的关节组为糜烂和JSN。皮普,近端指间;知识产权,指节间的;MCP,掌指的;mc - m,拇指掌掌关节及多角关节;CMC、腕掌的

除了SISO模型,还建立了三种类型的多输入多输出(MIMO)模型。如引言中所述,比较同一对侧关节是有效的[世界杯2022赛程表比赛直播 ,19,20.,世界杯2022赛程表比赛直播 ]或相同的关节组[世界杯2022赛程表比赛直播 ]。从这个角度来看,SISO模型还有改进的空间,因为它没有使用相关关节的信息。建立的MIMO模型利用了关于同一对侧关节和关节群的信息(图1)。世界杯2022赛程表比赛直播 罪犯)。

在设计MIMO模型时,将同一关节组定义为:世界杯2022赛程表比赛直播 E):磨蚀,(1)PIP和IP关节(PIP-IP关节),(2)MCP关节,(3)拇指和多角关节(CMC- m)的腕掌关节(CMC),(4)手腕关节(舟状关节、月骨关节、桡骨关节和尺骨关节)[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ],对于JSN, (1) PIP关节,(2)MCP关节,(3)CMC关节,和(4)手腕关节(多关节-舟状关节,头状-舟状-月状关节,桡腕关节)[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ]。给定一组关节图像(双手相同的关节或相同的关节组)作为输入,模型同时估计这些多个关节的类(“完整”或“不完整”)。

数字世界杯2022赛程表比赛直播 B显示了那地方模型,可以比较同一对侧关节。这个MIMO模型接收来自双手相同关节的输入,并为每个关节输出“完整的”或“不完整的”。由于比较的是两只手的相同(局部)关节,所以这个模型被称为“MIMO局部模型”。

数字世界杯2022赛程表比赛直播 C显示了那单手模型,可以比较一只手同一关节组的多个关节。该模型利用相互关系给出其组中单个关节的所有分类结果。

数字世界杯2022赛程表比赛直播 D显示了那双手模型,其中可以比较同一关节组的双手。该模型可能同时利用了MIMO局部模型和MIMO单手模型。

分类模型的训练

4个分类模型(SISO和3个mimo)在以下条件下进行训练。首先,将40名患者分为8个患者不相交的子集(即每个子集中有5名患者)。这种患者分离是保持我们实验公平性的必要条件[世界杯2022赛程表比赛直播 ]。然后,进行8次交叉验证,其中6个子集用于训练,一个子集用于验证,一个子集用于测试。利用训练图像对分类模型进行训练。验证数据用于调整超参数,并确定何时提前停止训练,即“提前停止”,用于提高测试数据的泛化性[世界杯2022赛程表比赛直播 ]。

超参数如下;完全连接层数[世界杯2022赛程表比赛直播 ],全连接层的初始化方案(随机或He法线初始化[世界杯2022赛程表比赛直播 ]),辍学世界杯2022赛程表比赛直播 ,和批大小[世界杯2022赛程表比赛直播 ]。对超参数进行了调优,以尽量减少验证数据的丢失,最终的设置在表中描述世界杯2022赛程表比赛直播 世界杯2022赛程表比赛直播 在额外的材料。提前停止的条件是验证损耗不连续减少10倍。如果这个早期停止条件在100个周期内不满足,则训练终止。我们设置二元交叉熵损失[世界杯2022赛程表比赛直播 对于SISO模型和MIMO模型的所有输出的二进制交叉熵损失之和。自适应动量(Adam) [世界杯2022赛程表比赛直播 用作所有模型的优化器。由于不同关节组之间的图像特征差异显著,因此为每一组准备了不同的模型,如表所示世界杯2022赛程表比赛直播 世界杯2022赛程表比赛直播 在额外的材料。

为了解决类不平衡的问题,我们应用了数据增强,当存在类不平衡或只有少量训练数据时,数据增强提高了DNN的性能[世界杯2022赛程表比赛直播 ]。我们对训练和验证数据进行了数据增强(针对交叉验证中每个褶皱的每个关节)。具体来说,我们对每个裁剪的关节图像应用了-3-到3度旋转、-5-到5像素的垂直和水平平移,以及0.97-到1.03倍的放大(或缩小)。几何扰动增强了训练数据,直到图像总数达到约10,000张,且没有类不平衡。验证数据也进行了增强,以消除类不平衡。

检测模型的评估程序

使用206张测试x射线图像,通过以下两个指标对DeepLabCut的性能进行评估:(1)正确检测率:正确检测的次数除以关节总数,(2)距离误差:被检测的目标关节中心与GT坐标之间的欧氏距离(像素)。由于x射线图像和手有不同的尺度和大小,x射线图像首先调整大小,使所有图像的近端趾骨的中位长度匹配。接下来,在检测到的中心点周围形成边界框。PIP、IP、MCP和CMC-M关节的盒子尺寸为250 × 250像素,半径为500 × 300像素,其他为300 × 300像素。为了获得正确的检出率,整形外科医生检查了包围盒是否正确地包含了目标关节。如果不正确,这个盒子就会被当作错误处理,并从后面的实验中丢弃。对于距离误差,整形外科医生从206张测试图像中随机选取50张x线图像,标注了侵蚀和JSN所有目标关节中心的GT坐标。然后,对检测到的目标关节中心与GT坐标的欧几里得距离进行评估。

分类模型的评价程序

采用灵敏度、特异性、f测度[世界杯2022赛程表比赛直播 ,和PR-AUC [世界杯2022赛程表比赛直播 的八倍交叉验证。F-measure和PR-AUC是存在类不平衡时分类模型性能的重要指标[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ],和本研究一样。F-measure是灵敏度和精度的调和平均值,PR-AUC是精度-召回曲线下的面积曲线,这是精度与灵敏度的曲线。F-measure和PR-AUC取0到1之间的值,随着性能的提高,会越来越接近1。

我们还使用相同的226张x光片测试了与附加GT不同的三名骨科医生的二元分类表现。这三位整形外科医生并不是RA方面的专家。他们评估了每个目标关节的侵蚀情况,并将JSN分为“完整”或“不完整”。

结果

联合检测结果

表格世界杯2022赛程表比赛直播 显示了每个目标关节的正确检出率。每个关节的检出率如下(完整、不完整、总数):对于糜蚀,PIP- ip关节(99.5%、90.8%、98.5%)、MCP关节(99.6%、83.1%、97.5%)、CMC- m关节(99.3%、93.4%、97.6%)、手腕关节(100.0%、91.6%、98.1%)、所有关节(99.6%、92.9%、98.0%),对于JSN, PIP关节(99.0%、91.6%、96.2%)、MCP关节(98.2%、86.8%、95.6%)、CMC关节(99.7%、98.7%、99.2%)、手腕关节(100.0%、99.8%、99.8%)、所有关节(98.9%、95.2%、97.3%)。总体上,所有的目标关节都被检测出了较高的准确率。完整关节(SHS = 0)大多数情况下都能正确检测到。在非完整节理(SHS≥1)的情况下,检测性能普遍较好,但对于侵蚀和JSN, PIP-IP和MCP节理的检出率往往略低。

表3测试数据的正确检出率

数字世界杯2022赛程表比赛直播 表明,对于侵蚀和JSN,所有目标节点的平均距离误差都小于6像素。每个关节的距离误差如下(平均±SD像素):对于侵蚀,PIP- ip关节(3.4±3.5),MCP关节(3.0±2.6),CMC- m关节(3.1±2.9),手腕关节(3.7±4.1),所有关节(3.3±3.4),对于JSN, PIP关节(5.4±9.4),MCP关节(3.8±6.5),CMC关节(2.5±1.2),手腕关节(2.9±1.5),所有关节(3.8±6.3)。

图4
图4

侵蚀与JSN各目标节点的距离误差箱线图。距离误差定义为检测到的目标节理中心到GT坐标的欧氏距离(像素)。对于侵蚀,“腕关节”表示舟骨、月骨、桡骨和尺骨;对于JSN,“腕”代表多舟骨-舟骨、头舟骨-月骨和桡腕关节。JSN,关节间隙变窄;GT,真实;皮普,近端指间;知识产权,指节间的;MCP,掌指的;mc - m,拇指掌掌关节及多角关节; CMC, carpometacarpal

数字世界杯2022赛程表比赛直播 展示了联合检测的例子。在无花果。世界杯2022赛程表比赛直播 A,成功检测到无或中度骨破坏的关节。在无花果。世界杯2022赛程表比赛直播 B,在严重骨质破坏的情况下,观察PIP和MCP关节的假阳性(黄色箭头)和假阴性(红色箭头)。相反,对于糜烂和JSN,即使存在严重的骨破坏,手腕关节也能被准确检测到。

图5
图5

DeepLabCut的检测结果。每一个点表示检测到的目标关节中心点,每一种颜色对应每一个关节。一个在有无中度骨质破坏的情况下,DeepLabCut都能高精度地检测关节。B在严重骨质破坏的情况下,检测失败。黄色箭头表示DeepLabCut检测到错误的区域(假阳性)。红色箭头表示DeepLabCut无法检测到目标关节(假阴性)

结果(分类)

表格世界杯2022赛程表比赛直播 显示了三组(腕关节、其他关节和所有关节[腕关节和其他关节])的每个分类模型和每个骨科医生的二元分类性能。对于所有关节,在糜烂和JSN两种情况下,MIMO局部模型和MIMO单手模型在F-measure和PR-AUC方面优于SISO模型。数字世界杯2022赛程表比赛直播 显示了PR-curve。此外,对于所有节理,MIMO局部模型在以下指标方面表现最佳:JSN的敏感性(0.79)、JSN的特异性(0.89)、侵蚀和JSN的f -测度(0.70,0.81)以及侵蚀和JSN的PR-AUC(0.73, 0.85)。

表4二值分类的表现
图6
图6

每个目标关节的每个分类模型和骨科医生的精度-召回曲线和曲线下的面积。对于侵蚀,“腕关节”表示舟骨、月骨、桡骨和尺骨;对于JSN,“腕”代表多舟骨-舟骨、头舟骨-月骨和桡腕关节。JSN,关节间隙变窄;GT,真实;皮普,近端指间;知识产权,指节间的;MCP,掌指的;mc - m,拇指掌掌关节及多角关节;CMC、腕掌的; SISO, single-input single-output; MIMO, multiple-input multiple-output

此外,对于所有关节的F-measure和PR-AUC, MIMO局部模型比最好的骨科医生表现出更好的侵蚀分类性能。对于JSN,该模型仍优于骨科医生的平均水平。对于所有关节,F-measure和PR-AUC如下(MIMO局部模型,整形外科医生的平均值,最好的整形外科医生):糜烂的F-measure(0.70, 0.58, 0.63)和PR-AUC (0.73, 0.67, 0.70), JSN的F-measure(0.81, 0.80, 0.84)和PR-AUC(0.85, 0.84, 0.86)。

数字世界杯2022赛程表比赛直播 展示了各个分类模型预测的可视化结果示例。在无花果。世界杯2022赛程表比赛直播 A, MIMO局部模型正确地将左手的舟状、月状和桡骨分类为非完整的,尽管其他模型错误地识别了它们。对于JSN, MIMO局部模型正确地将右手桡腕关节和左手CMC关节分类为非完整关节,尽管其他模型错误地识别了它们(图1)。世界杯2022赛程表比赛直播 B)。

图7
图7

x射线图像中目标关节各分类模型预测的可视化结果。每个边界框代表检测到的目标关节。边界框的颜色表示分类结果与ground-truth (GT)的比较情况。蓝色表示GT是不完整的,预测是不完整的(真阳性)。白色表示GT完整,预测完整(真阴性)。红色表示GT不完整,预测完整(假阴性)。一个侵蚀的结果和BJSN。GT,真实;JSN,关节间隙变窄;的输出,对于单变量;米姆,多输入多输出

讨论

对于所有的目标关节,所提出的自动骨破坏评估系统的关节检测性能都非常高。在二元分类方面,在F-measure和PR-AUC方面,四种分类模型中,能够比较同一对侧关节的MIMO局部模型在侵蚀和JSN方面表现最好。此外,该模型在糜烂方面的表现也高于骨科医生。JSN的MIMO局部模型分类性能略低于最好的骨科医生,但略好于骨科医生的平均水平。由于侵蚀对RA的早期诊断比JSN更为关键[世界杯2022赛程表比赛直播 ], MIMO局部模型优于骨科医生对糜烂的表现,具有临床意义。

至于自动检测,所有的目标关节都可以非常准确地检测出来,如Table所示世界杯2022赛程表比赛直播 。过去的报告(世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ]主要关注自动检测的亮度值的变化。当关节空间定义良好时,如PIP-IP和MCP关节,这些方法是有效的,但在解剖结构复杂的情况下,如舟状骨和月状骨[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ]。DeepLabCut通过学习每个目标关节的解剖位置和相互关系,准确检测出所有的目标关节。此外,DeepLabCut的检出率优于以往的报道[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ],尽管在不同的数据集下很难进行直接比较。Hirano等人[世界杯2022赛程表比赛直播 ]对PIP-IP接头的检出率为96.0%,对MCP接头的检出率为94.0%。Morita等报道了PIP关节、远端IP关节和MCP关节的28个关节的检出率为91.8%。DeepLabCut对PIP-IP关节的检出率为98.5%,对MCP关节的检出率为97.5%,对PIP-IP和MCP关节的检出率为98.0%(表世界杯2022赛程表比赛直播 )。DeepLabCut对PIP-IP和MCP关节的检测性能高于以往的报道[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ]。

当尺侧漂移发生在PIP和MCP关节时(图。世界杯2022赛程表比赛直播 B),被提出的系统检测往往会失败。这种倾向可以用近端指骨和掌骨之间解剖位置关系的变化来解释。相比之下,手腕关节可以被适当检测到,即使RA已经进展,因为手腕关节的解剖偏差小于手指关节[世界杯2022赛程表比赛直播 ]。

在二元分类方面,MIMO局部模型在四种分类模型中取得了最好的效果。比较同侧关节比比较同侧关节组更有效。先前的研究[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 报道称,比较对侧关节可以提高阅读x光图像的能力,许多风湿病学家已经使用这种比较技术来诊断骨质破坏。虽然MIMO双手模型也比较了两只手的关节,但其性能并不优于MIMO局部模型和MIMO单手模型。我们认为,增加输入关节的数量需要训练数据的组合增加,因此使充分的训练变得困难。因此,为分类模型选择有效的输入图像是必要的。

在非完整病例中,MIMO局部模型和MIMO单手模型对手腕关节的糜烂和JSN均有效。腕关节骨破坏的进展比手指关节更加对称[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ];因此,MIMO局部模型适用于腕关节。MIMO单手模型在手腕关节中也有效,因为手腕关节组有相似的骨破坏进展。

在侵蚀中出现轻微骨破坏的情况下,这对早期诊断很重要[世界杯2022赛程表比赛直播 ],四种分类模型对手腕关节表现出相对较好的性能,但对PIP-IP、MCP和CMC-M关节表现不佳。数字世界杯2022赛程表比赛直播 显示了四种分类模型都存在的困难情况。在图的腕关节中。世界杯2022赛程表比赛直播 , 4个分类模型几乎都能正确归类为未完整。然而,所有分类模型都错误地将PIP和MCP关节分类为完整的。这些错误分类可以用轻微的骨破坏程度来解释。甚至风湿病学家很难准确区分完整的骨骼和轻度的骨骼破坏[世界杯2022赛程表比赛直播 ]。因此,分类模型在学习区分完整骨和轻度骨破坏的特征时可能会有困难。腕部关节中准确率较高的一个可能原因是腕部关节的类不平衡较少。对于PIP-IP、MCP和CMC-M关节,通过增加非完整案例的数量,可能会提高预测性能。

图8
图8

四种分类模型的侵蚀困难案例。每个边界框代表检测到的目标关节。边界框的颜色表示分类结果与ground-truth (GT)的比较情况。蓝色表示GT是不完整的,预测是不完整的(真阳性)。白色表示GT完整,预测完整(真阴性)。黄色表示GT完整,预测不完整(假阳性)。红色表示GT不完整,预测完整(假阴性)。GT,真实;的输出,对于单变量;米姆,多输入多输出

表现最好的分类模型是MIMO局部模型;特别是,对于糜烂的所有关节,它在F-measure和PR-AUC方面的分类性能优于骨科医生。至于JSN,普通骨科医生对JSN的评估比侵蚀更熟悉,因为他们治疗的几种疾病(如骨关节炎)对JSN的评估有意义。因此,他们对JSN的表现优于糜烂。尽管存在这样的情况,但在JSN的情况下,MIMO局部模型对所有关节的表现略优于整形外科医生的平均表现。在RA的诊断中,糜烂比JSN更重要[世界杯2022赛程表比赛直播 ]。因此,在糜烂的情况下,MIMO局部模型表现优于骨科医生,具有临床意义。我们由此得出结论,在糜烂的情况下,MIMO局部模型比骨科医生具有更高的分类能力。

这项研究的局限性在于,我们可以使用相对较少的手部数据。更多的数据可能会在手指关节骨轻度破坏的情况下提高分类性能。如果我们有足部数据,它与手部数据的结合将会很有帮助,特别是对于RA的早期诊断[世界杯2022赛程表比赛直播 ]。

在未来的工作中,我们的目标是通过在分类模型中加入时间序列信息来提高分类性能,这对SHS评分是有帮助的[世界杯2022赛程表比赛直播 ,世界杯2022赛程表比赛直播 ]。使用与MIMO局部模型相同的框架将使纳入时间序列信息成为可能。

结论

综上所述,提出的骨破坏自动评估系统是有效的。在自动检测方面,所有的目标关节都被检测出了较高的精度。在自动二元分类方面,所提出的分类方法可以比较同一对侧关节,无论是对糜烂还是对JSN都表现出了良好的分类性能。此外,本文提出的方法对糜烂的分类性能优于三种骨科医生。

数据和材料的可用性

支持本研究发现的数据可从通讯作者KM处合理要求获得。

缩写

人工智能:

人工智能

CMC:

腕掌的

CMC-M:

腕掌关节的拇指和多角

款:

深层神经网络

GT:

真实

知识产权:

指节间的

JSN:

关节空间缩小

MCP:

掌指的

米姆:

多输入多输出

皮普:

近端指间

类风湿性关节炎:

类风湿性关节炎

啦!

修正Sharp/van der Heijde评分

输出:

对于单变量

参考文献

  1. Salaffi F, Carotti M, Carlo M.常规放射摄影在类风湿关节炎中的应用:新的科学见解和实际应用。Int J Clin Exp Med. 2016; 9:17012-27。

    谷歌学者

  2. Devauchelle Pensec V, Saraux A, Berthelot JM, Alapetite S, Chalès G, Le Henaff C,等。手部x线片对早期关节炎患者类风湿性关节炎进一步诊断的预测能力。J Rheumatol。2001;28:2603-7。

    中科院PubMed谷歌学者

  3. Drosos AA, Pelechas E, Voulgari PV。类风湿性关节炎患者手和手腕的常规x线摄影。风湿病医生应该知道什么以及如何解释放射学检查结果。Rheumatol Int. 2019; 39:1331-41施普林格科学和商业媒体有限责任公司。

    文章谷歌学者

  4. 麦昆调频。早期类风湿性关节炎影像学。Best Pract Res Clin Rheumatol. 2013; 27:499-522。

    文章谷歌学者

  5. van der Heijde DM, van Riel PL, Nuver-Zwart IH, Gribnau FW, vad de Putte LB.羟氯喹和硫氮嗪对类风湿关节炎关节损伤进展的影响。《柳叶刀》杂志。1989;1:1036-8。

    文章谷歌学者

  6. 文杰,刘杰,辛磊,万磊,姜辉,孙勇,等。类风湿性关节炎患者Sharp Score的影响因素:一项回顾性研究。BMC Musculoskelet Disord. 2021;22:865。

    文章谷歌学者

  7. Mochizuki T, Yano K, Ikari K, Hiroshima R, Sakuma Y, Momohara s既定类风湿关节炎中手部骨密度与关节破坏的相关性。J . . 2017; 14:461-5。

    文章谷歌学者

  8. Brown LE, Frits ML, Iannaccone CK, Weinblatt ME, Shadick NA, Liao KP。RA患者继发性SS的临床特征及伴关节损伤。风湿病学。2015;54:816-20。

    中科院文章谷歌学者

  9. van der Heijde DMFM。类风湿性关节炎平片:评分方法概述及其可靠性和适用性。Baillieres Clin Rheumatol. 1996; 10:435-53。

    文章谷歌学者

  10. Brower AC.使用x光片测量类风湿关节炎的过程。风湿性关节炎(Arthritis Rheum) 1990; 33:16 - 24 Wiley。

    中科院文章谷歌学者

  11. Matsuno H, Yudoh K, Hanyu T, Kano S, Komatsubara Y, Matsubara T,等。类风湿性关节炎手部x线片的定量评估:多中心x线研究中的观察者间变异。中华骨科杂志2003;8:467-73爱思唯尔BV。

    文章谷歌学者

  12. 平野T,西ide M,野中N, Seita J, ebeina K,樱田K,等。类风湿性关节炎放射学指关节破坏评分的深度学习模型的开发与验证。风湿性关节炎Adv Pract. 2019;3:rkz047。

    文章谷歌学者

  13. 中松K,森田K, Yagi N, Kobashi S.基于统计形状模型和支持向量机的手部x射线图像手指关节检测方法。In: 2020年社区中心系统国际研讨会(CcS);2020.1 - 5页。

    谷歌学者

  14. Morita K, Chan P, Nii M, Nakagawa N, Kobashi .利用机器学习自动估计类风湿性关节炎进展的手指关节检测方法。In: 2018 IEEE国际会议关于系统,人,和控制论(SMC)。IEEE;2018.1315 - 20页。

  15. Mathis A, Mamidanna P, Cury KM, Abe T, Murthy VN, Mathis MW,等。DeepLabCut:使用深度学习对用户定义的身体部位进行无标记的姿态估计。Nat > 2018; 21:1281-9。

    中科院文章谷歌学者

  16. Halla JT, Fallahi S, Hardin JG。小关节受累:类风湿关节炎的系统x线研究。Ann Rheum Dis. 1986; 45:327-30。

    中科院文章谷歌学者

  17. Zangger P, Keystone EC, Bogoch ER。类风湿关节炎小关节受累的不对称性:患病率和随时间向对称性发展的趋势。关节骨脊柱。2005;72:241-7。

    文章谷歌学者

  18. Sommer OJ, Kladosek A, Weiler V, Czembirek H, Boeck M, Stiskal M.类风湿关节炎:最先进成像、图像解读和临床意义的实用指南。射线照相。2005;25:381 - 98。

    文章谷歌学者

  19. Ory PA。解释类风湿关节炎的影像学数据。Ann Rheum Dis. 2003; 62:597-604。

    中科院文章谷歌学者

  20. Fries JF, Bloch DA, Sharp JT, McShane DJ, Spitz P, Bluhm GB等。类风湿关节炎放射学进展的评估。一项随机对照试验。关节炎感冒。1986;29:1-9。

    中科院文章谷歌学者

  21. Ferrara R, Priolo F, Cammisa M, Bacarini L, Cerase A, Pasero G,等。类风湿关节炎的临床试验:GRISAR研究产生的评估x线片的方法学建议。Ann Rheum Dis. 1997; 56:608-12 BMJ出版集团有限公司。

    中科院文章谷歌学者

  22. Hulsmans HM, Jacobs JW, van der Heijde DM, van Albada-Kuipers GA, Schenk Y, Bijlsma JW。类风湿关节炎前6年放射损伤的过程。关节炎感冒。2000;43:1927-40。

    中科院文章谷歌学者

  23. Scott DL, Coulton BL, Popert AJ。类风湿性关节炎中关节损伤的长期进展。Ann Rheum Dis. 1986; 45:373-8。

    中科院文章谷歌学者

  24. Buda M, Maki A, Mazurowski MA。卷积神经网络中类不平衡问题的系统研究。神经网络2018;106:249-59爱思唯尔。

    文章谷歌学者

  25. Simonyan K, Zisserman A.用于大规模图像识别的非常深度卷积网络。ICLR;2015.可以从:https://www.semanticscholar.org/paper/eb42cf88027de515750f230b23b1a057dc782108

  26. 李铮,刘峰,杨伟,彭硕,周杰。卷积神经网络综述:分析、应用与展望。IEEE Trans Neural Netw Learn Syst. 2021。ieeexplore.ieee.org。可以从:http://dx.doi.org/10.1109/TNNLS.2021.3084827

  27. 邓J. ImageNet:一个大规模的分级图像数据库。Proc IEEE Comput Soc Conf Comput Vis模式识别。2009。可以从:https://ci.nii.ac.jp/naid/10027363646

  28. Guo Y, Shi H, Kumar A, Grauman K, Rosing T, Feris R. Spottune:通过自适应微调的迁移学习。见:IEEE/CVF计算机视觉与模式识别会议论文集。openaccess.thecvf.com;2019.4805 - 14页。

    谷歌学者

  29. Tougui I, Jilbab A, Mhamdi JE。交叉验证技术的选择对基于机器学习的诊断应用结果的影响。Healthc Inform Res. 2021; 27:189-99synapse.koreamed.org

    文章谷歌学者

  30. Ying X.过拟合概述及其解决方案。J Phys Conf Ser. 2019;1168:022022 IOP出版。

    文章谷歌学者

  31. Basha SHS, Dubey SR, Pulabaigari V, Mukherjee S.全连接层对卷积神经网络图像分类性能的影响。Neurocomput。2020;378:112-9爱思唯尔。

    文章谷歌学者

  32. 何凯,张旭,任S,孙杰深入整流器:在ImageNet分类上超越人类水平的性能。In: 2015 IEEE国际计算机视觉会议(ICCV);2015.1026 - 34页。

    谷歌学者

  33. Srivastava N, Hinton G, Krizhevsky A, Sutskever I, Salakhutdinov R. Dropout:一种防止神经网络过拟合的简单方法。J Mach Learn Res. 2014; 15:1929-58。

    谷歌学者

  34. Radiuk点。训练集批量大小对卷积神经网络针对不同数据集的性能的影响。Inf technology l Manag Sci. 2017;20。里加技术大学。可以从:http://elar.khmnu.edu.ua/handle/123456789/11047

  35. Ruby U, Yendapalli V.二值交叉熵与深度学习技术的图像分类。J Adv Trends Comput ... .2020.researchgate.net。可以从:https://www.researchgate.net/profile/Vamsidhar-Yendapalli/publication/344854379_Binary_cross_entropy_with_deep_learning_technique_for_Image_classification/links/5f93eed692851c14bce1ac68/Binary-cross-entropy-with-deep-learning-technique-for-Image-classification.pdf

  36. Kingma DP, Ba J. Adam:一种随机优化方法。arXiv [cs.LG]。2014.可以从:http://arxiv.org/abs/1412.6980

  37. 缩短C, Khoshgoftaar TM。面向深度学习的图像数据增强研究综述。J Big Data. 2019;6:60施普林格。

    文章谷歌学者

  38. Canbek G, Sagiroglu S, Temizel TT, Baykal N.二元分类绩效度量/指标:获得新见解的全面可视化路线图。In: 2017国际计算机科学与工程会议(UBMK);2017.821 - 6页。ieeexplore.ieee.org

    谷歌学者

  39. Keilwagen J, Grosse I, Grau J.加权和非加权数据的精确回忆曲线下面积。《公共科学图书馆•综合》。2014;9:e92209journals.plos.org

    文章谷歌学者

  40. Movahedi F, Padman R, Antaki J. ROC对不平衡数据的局限性:LVAD死亡风险评分的评估。出来了。2020.可以从:https://www.semanticscholar.org/paper/3a83bb7335038801013f3805f09572c3f2f12280

  41. Nan Y, Chai KM, Lee WS, Chieu HL。优化f测度:两种方法的故事[互联网]。arXiv [cs.LG]。2012.可以从:http://arxiv.org/abs/1206.4625

  42. van der Heijde D.类风湿性关节炎的侵蚀与关节间隙狭窄:我们知道什么?Ann Rheum Dis. 2011;70(增刊1):i116-8。

    文章谷歌学者

  43. 阅读GO, Solomon L, Biddulph S.类风湿性关节炎手指和手腕畸形之间的关系。Ann Rheum Dis. 1983; 42:619-25。

    中科院文章谷歌学者

  44. Klarlund M, Ostergaard M, Jensen KE, Madsen JL, Skjødt H, Lorenzen I.手指关节的磁共振成像、x线摄影和闪烁成像:对早期关节炎患者的一年随访。喝水组。Ann Rheum Dis. 2000; 59:521-8。

    中科院文章谷歌学者

  45. Guillemin F, Billot L, Boini S, Gerard N, Ødegaard S, Kvien TK。类风湿性关节炎患者手部放射损伤评分5种方法变化的再现性和敏感性。J Rheumatol。2005;32:778 - 86。

    PubMed谷歌学者

  46. Visser H.类风湿性关节炎的早期诊断。Best Pract Res Clin Rheumatol. 2005; 19:55-72 Elsevier。

    文章谷歌学者

  47. van der Heijde D, Boonen A, Boers M, Kostense P, van der Linden s按时间顺序、成对或单片阅读x光片对类风湿关节炎临床试验的鉴别能力具有重要意义。风湿病学,1999;38:1213-20牛津学术。

    文章谷歌学者

下载参考

致谢

作者衷心感谢原田Shota、西村一哉和荒木研吾在准备手稿时给予的巨大帮助。

资金

本研究由日本科学促进会科学研究资助基金资助,资助号为19K09652。

作者信息

作者和联系

作者

贡献

所有作者都对研究的构思和设计做出了贡献。KM、SI、KK、MK、SA、TU和YN收集了数据。KM、RB、SU撰写了手稿,所有作者都阅读并认可了手稿。

相应的作者

对应到一辉Miyama

道德声明

伦理审批并同意参与

本研究获得了所有9个参与机构的机构审查委员会的伦理批准。

同意出版

不适用。

相互竞争的利益

作者声明无竞争利益。

额外的信息

出版商的注意

卡塔尔世界杯常规比赛时间施普林格自然对出版的地图和机构附属的管辖权要求保持中立。

补充信息

附加文件1:表S1

。超参数的最后设置(侵蚀)。显示了每个分类模型对每个目标关节的超参数的最终设置。“腕关节”代表舟骨、月骨、桡骨和尺骨。注:FC,完全连接;皮普,近端指间;知识产权,指节间的;MCP,掌指的;mc - m,拇指和多角掌掌关节。

附加文件2:表S2

。超参数(JSN)的最终设置。显示了每个分类模型对每个目标关节的超参数的最终设置。“腕关节”代表多舟状-舟状关节、头状-舟状-月状关节和桡腕关节。注:JSN,关节间隙变窄;FC,完全连接;皮普,近端指间;MCP,掌指的;CMC、腕掌的。

权利和权限

开放获取本文采用创作共用署名4.0国际许可协议(Creative Commons Attribution 4.0 International License)授权,该协议允许以任何媒介或格式使用、分享、改编、分发和复制,只要您对原作者和来源给予适当的署名,提供创作共用许可协议的链接,并注明是否有更改。本文中的图片或其他第三方材料均包含在文章的创作共用许可中,除非在材料的信用额度中另有注明。如果材料未包含在文章的创作共用许可中,且您的预期用途未被法律法规允许或超出许可使用范围,您将需要直接从版权方获得许可。欲查看本许可的副本,请访问http://creativecommons.org/licenses/by/4.0/。创作共用公共域奉献弃权书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文提供的数据,除非在数据的信用额度中另有说明。

再版和权限

关于这篇文章

通过CrossMark验证货币和真实性

引用这篇文章

Miyama, K., Bise, R., Ikemura, S。et al。基于深度学习的自动骨破坏评估系统,使用来自其他关节的上下文信息。关节炎Res其他24227(2022)。https://doi.org/10.1186/s13075-022-02914-7

下载引用

  • 收到了:

  • 接受:

  • 发表:

  • DOI:https://doi.org/10.1186/s13075-022-02914-7

关键字

  • 类风湿性关节炎
  • 深层神经网络
  • 修正Sharp/van der Heijde评分
  • 自动检测
  • 自动分类