全卷积神经网络,肛提肌裂孔分割方法

基于全卷积神经网络的肛提肌裂孔分割方法研究

文:深圳大学医学部 王娜 王毅 俞俊雄 雷柏英 汪天富 倪东&深圳市第二人民医院超声科 王慧芳 | 2018年第四期 (0) | (0)

  摘要:在女性盆底功能障碍性疾病诊断中,准确分割肛提肌裂孔,具有至关重要的临床意义。传统方法依赖医生经验手动分割,耗神耗力,而且可靠性往往不高。因此,应临床盆底超声诊断需求,本文提出一种肛提肌裂孔智能识别方法。首先,使用自动上下文全卷积神经网络,融合肛提肌裂孔图像与全卷积神经网络得到的概率图,提高预测分割结果的局部空间一致性并改善分割细节,并结合活动轮廓模型,进一步完善分割结果。实验结果说明本文所提出的方法较现有方法能够提供更精确的分割结果。

前言

医学影像分割决定着医学影像在临床诊疗中能否提供可靠依据的关键问题,近年来利用深度学习算法处理医学影像分割问题,是人工智能的重要应用,医学影像分割技术也取得了显著进展。目前多使用卷积神经网络(CNN)、全卷积网络(FCN)、循环神经网络(RNN)等网络结构解决医学影像分割问题。

女性盆底功能障碍性疾病(femalepelvicfloordysfunction,FPFD)包括盆腔器官脱垂,压力性尿失禁、粪失禁等一系列综合征,FPFD的致病因素有很多,主要原因是由妊娠及分娩引起的肛提肌损伤。盆底超声因具有实时成像、费用低、无辐射等优点,是盆底疾病主要的影像检查手段[1]。临床诊断中,医生通常利用轨迹球手动描记肛提肌轮廓;而这往往受医生主观经验影响,且测量步骤繁琐、耗时长、误差大。但是实现肛提肌裂孔(levatorhiatus,LH)自动分割时会面临以下几点挑战:①图像中声影、散斑等噪声干扰大;②成像条件不同,图像呈现不同的强度分布;③肛提肌单侧或双侧损伤,影响其识别,如图1所示。为解决这些问题,本文首次提出基于深度学习的LH自动分割方法。

LH边缘分割是其生物参数测量的首要条件。Sindhwani[2]提出基于水平集的半自动肛提肌轮廓描绘工具,需要手动标记耻骨联合后下缘点和耻骨直肠肌底部前缘点。随着深度学习的蓬勃发展,其在医学超声图像处理领域相比传统方法能够得到更好的性能表现。卷积神经网络[3]在前景分类有良好应用,但它以图像块分类方式完成图像分割,会造成分割不精细。而全卷积神经网络[4]通过融合多视觉尺度信息,能够实现像素级的分割。但当前流行的自然图像网络往往超出了医学图像领域所需的模型复杂性,所以应LH超声图像分割要求,提出一种自动上下文全卷积神经网络(Auto-ContextFullyConvolutionalNetworks,AC-FCN),通过融合LH超声图像与FCN得到的概率图的方式,提高预测图的局部空间一致性并改善分割细节[6];针对分割结果中局部缺失问题,采用活动轮廓模型(ActiveShapeModel,ASM)[7],通过形状约束方式提升LH分割效果。

综上所述,本文提出的基于深度学习的肛提肌裂孔智能识别方法,具有以下几个创新点:①相比传统的FCN网络,AC-FCN对LH的分割任务有更好的性能表现,能够更加准确快速地识别LH;②AC-FCN融合了不同尺寸不同层次的特征,成功解决传统FCN分割结果细节粗糙的问题;③基于前两步的分割结果以及LH形状特点,利用ASM进行形状约束,再次提高LH的分割效果;④将当前研究领域较流行的深度学习方法与传统方法结合,借助深度学习网络提取图像中深层次的丰富的特征信息,获得初步分割结果,在此基础上,有机结合传统方法不断优化实验结果,构建出性能更好的研究框架。


图1盆底超声图像(左)及其分割结果(右),红色轮廓表示手动描绘的LH边界,黄色和绿色箭头分别表示由超声特点和肛提肌损伤引起的边界缺失

方法

本文提出的基于深度学习的LH智能识别方法,研究框架如图2所示,主要包括以下三点:首先,将预处理得到LH超声图像和对应的标签输入到第0级分类器(Level0—AC-FCN),以迁移学习方式提取多尺度视觉特征,获得肛提肌裂孔预测图;之后将AC-FCN嵌入到自动上下文模型中,把第0级获取的概率图与LH超声图像进行多通道融合后输入到第1级分类器(Level1—AC-FCN),得到新的预测图,与LH图像融合后输入第2级分类器,以此类推,不断迭代直到获得较好的分割结果;最后,利用ASM引入曲线形状、图像中的位置、边界处的连续性等约束条件,对最后一次自动上下文模型得到的预测概率图进行形状优化,输出最终的分割结果。


图2本文提出的框架图

2.1调整后的全卷积网络

Long等[4]提出全卷积神经网络(FCN),以端到端、点到点的方式对任意尺寸的输入图像完成像素级分割。最有效的FCN模型是FCN-8s,本文以FCN-8s为基础提出LH超声图像目标与背景区域分类器AC-FCN,主要进行如下调整:①删除FCN8s中最后两层卷积层降低模型复杂度,避免过拟合,缩短了训练时间;②添加融合层,将第五池化层和第四池化层得到的特征图融合,强化特征学习,将第一个卷积层的填充参数设为1。首先,神经网络卷积层输入输出特征图尺寸计算公式如下:

(1)

其中,Fi为输入特征图的空间尺寸,F0为输出特征图尺寸,K即为核函数尺寸,S为步幅,P是填充参数,通常用零扩充图像的边缘。在AC-FCN中,删掉FCN-8s最后两层卷积后,当卷积层中核函数K=3、步幅S=1时,P=1,F0始终等于Fi,不存在边缘丢失的问题,所以前后层信息融合时就无需使用裁剪层裁剪特征图。

2.2自动上下文模型细化分割结果

AC-FCN虽然能更高效输出目标区域的预测概率图,但仍存在两大问题:①对图像中的细节不敏感,所得结果不够精细;②FCN对各个像素分类时,没有充分考虑像素之间的关系,忽略了基于像素分类中通常使用的空间规整步骤,缺乏空间一致性。为了解决上述问题,使用自动上下文模型对AC-FCN结果进行优化[8]。

自动上下文模型核心思想是第k级分类器同时利用灰度图像的外观特征和第k-1级分类器获取的预测概率图的上下文特征,第k-1级的分类器包含感兴趣目标的基本形状、前景、背景的轮廓分割等有价值的信息,通过上下文特征与灰度特征的联合,得到比k-1级分类器更有效的特征描述,实现预测图的概率精细化。

(2)

其中,hk是第k级分类器的模型映射函数,x、yk-1分别是肛提肌图像和第k-1级分类器输出的概率图,J(.)是将x、yk-1结合的并行级联间操作。本文将一张肛提肌图像和k-1分类器获取的概率图联合成三通道图像,作为k级分类器的输入,对AC-FCN预测图实现轮廓细化和空间一致性优化。

2.3活动轮廓模型优化

虽然本文中级联的多尺度AC-FCN对边界缺失情况仍有强大的恢复能力,但目前还没有理论保证能够以绝对相近的形式恢复所有缺失的边界,所以,在最后一层上下文后,我们应用一个辅助ASM模型[9]在预测概率图上生成最终的分割结果。采用交叉验证的方式,将372张LH分成12个子集,取11个子集作为训练集,1个子集作为验证集,每张图上有12个主特征点和位于主特征点之间的60个次特征点,将样本数据及特征点输入ASM中统计LH形状分布信息,构建完成形状模型。因为模糊和大跨度的闭塞边界已经被AC-FCN级联识别,只有少量缺口有待ASM补全和完善。实验结果表明,ASM能有效实现对LH的形状约束,完善分割结果,为LH参数的精准测量提供有力支持。

实验结果

为更全面准确地评估分割结果,参考文献[10-12],本文采用区域和形状相似度两类评价指标,即Dice、Jaccard、ConformityCoefficient(Cc)、AverageDistanceofBoundaries(Adb)四种指标来评估LH分割结果。其中,前两种是基于区域的评价指标,后两种是基于距离的评价指标。设G为医生标记的目标区域,S为算法分割结果,评价指标计算公式如下:

其中,s(.)表示面积计算符,dmin(PG,S)表示G上的点PG到S上最近点的距离,同样地,表示S上的点PS

上最近点的距离,σ G代表轮廓上点的个数。

依据上述指标对本文的研究框架AC-FCN以及分割领域较流行的深度学习网络在测试数据上进行分割性能的评估与比较,如表1所示。由评估结果可得,AC-FCN模型作为本文框架的核心算法,其性能相比其他网络在所有指标上都更胜一筹。Level0-AC-FCN已经优于其他模型,嵌入上下文模型后,分割效果逐步提升,同时为了避免可能的过拟合问题,使用Level2-AC-FCN就可以得到令人满意的结果,通过ASM约束LH形状继续优化分割结果。

图3显示了通过不同分割方法获的结果,以及通过Level2-AC-FCN获得精确预测图。因为CNN和U-net分割性能较差,仅展示了SegNet,FCN-8s,Level2-AC-FCN,Level2-AC-FCN-ASM预测分割结果以及实际LH边界。如图3所示,Level2-AC-FCN-ASM分割结果与实际LH边界最接近。

表1不同分割方法比较


图3不同方法的定性分割比较,第一行:由Level2-AC-FCN获得的精确预测图。第二行:SegNet(黄色),FCN-8(青色),Level2-AC-FCN(蓝色),Level2-AC-FCN-ASM(绿色)的预测分割结果和实际LH(红色)的边界

实验结论

本文提出了一种以AC-FCN为核心的LH智能识别的研究框架,并取得了较好的结果。首先,通过调整FCN-8s获得一个很好的基础模型,提升分割精度的同时降低了模型复杂度、提高训练效率、减少内存占用;将调整后FCN嵌入到一个自动上下文模型中,通过级联LH超声图像与预测概率图的信息增强边界细节,使得分类器性能有显著提升;将自动上下文模型得到的概率图,输入到ASM完成形状约束,很好地解决了LH边缘缺失的问题,且分割框架亦适用于其他超声图像的任务。

参考文献

[1]Y.Tao,L.Qin,X.Lian,F.Liu,andH.Bing,"Three-dimensionalUltrasoundAppearanceofPelvicFloorinNulliparousWomenandPelvicOrganProlapseWomen,"[j].InternationalJournalofMedicalSciences,2012,vol.9,pp.894-900.

[2]N.Sindhwani,D.Barbosa,M.Alessandrini,etal.,"Semi‐automaticoutliningoflevatorhiatus,"[J].UltrasoundinObstetrics&GynecologytheOfficialJournaloftheInternationalSocietyofUltrasoundinObstetrics&Gynecology,2016,vol.48,p.98.

[3]A.Krizhevsky,I.Sutskever,andG.E.Hinton,"ImageNetclassificationwithdeepconvolutionalneuralnetworks,"[A].inInternationalConferenceonNeuralInformationProcessingSystems,2012,pp.1097-1105.

[4]J.Long,E.Shelhamer,andT.Darrell,"Fullyconvolutionalnetworksforsemanticsegmentation,"[A].inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2015,pp.3431-3440.

[5]H.Chen,Y.Zheng,J.H.Park,etal.,"IterativeMulti-domainRegularizedDeepLearningforAnatomicalStructureDetectionandSegmentationfromUltrasoundImages,"[A].inInternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention,2016,pp.487-495.

[6]Z.Tu,"Auto-Contextanditsapplicationtohigh-levelvisiontasks,"[A].inComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon,2008,pp.1-8.

[7]T.F.Cootes,C.J.Taylor,D.H.Cooper,etal.,"Activeshapemodels-theirtrainingandapplication,"[J].Computervisionandimageunderstanding,1995,vol.61,pp.38-59.

[8]Y.Gao,L.Wang,Y.Shao,etal.,"LearningDistanceTransformforBoundaryDetectionandDeformableSegmentationinCTProstateImages,"[A].inInternationalWorkshoponMachineLearninginMedicalImaging,2014,pp.93-100.

[9]B.VanGinneken,A.F.Frangi,J.J.Staal,etal.,"Activeshapemodelsegmentationwithoptimalfeatures,"[J].IEEEtransactionsonmedicalimaging,2002,vol.21,pp.924-933.

[10]Q.HuangandB.Dom,"Quantitativemethodsofevaluatingimagesegmentation,"[A].inInternationalConferenceonImageProcessing,1995.Proceedings,1995,pp.53-56vol.3.

[11]A.A.TahaandA.Hanbury,"Metricsforevaluating3Dmedicalimagesegmentation:analysis,selection,andtool,"[J].BmcMedicalImaging,2015,vol.15,p.29.

[12]H.H.Chang,A.H.Zhuang,D.J.Valentino,etal.,"Performancemeasurecharacterizationforevaluatingneuroimagesegmentationalgorithms,"[J].Neuroimage,2009,vol.47,pp.122-135.

杂志订阅

填写邮件地址,订阅精彩资讯: