当前位置:首页 > 新闻 > 正文

基于深度学习的医学图像分割技术

发布时间: 2018-08-10 14:44   作者: 亢寒 张荣国 陈宽   来源: 人工智能杂志

  近几年,随着人工智能,尤其是深度学习技术的迅速发展,基于深度学习的分割方法已在图像分割领域取得了显著成就,其分割准确度已经超过了传统的分割算法。将基于深度学习的分割方法应用到医学影像处理中,能够为病情分析提供重要的辅助作用。可以说,深度学习算法在医学图像处理中具有重要的理论研究意义以及实用价值。

  随着数字成像技术的发展以及医疗成像设备的普及,影像数据分析成为医学界一个重要的辅助诊疗手段。通过磁共振成像(MRI)、计算机断层技术(CT)以及其它的医疗影像技术得到的器官解剖成像能够客观反映组织结构、病理变化等,从定位取证到引导治疗为医生提供了重要帮助。临床上,一般是由有经验的放射科医师对医学影像进行处理,这样的人工操作不仅繁琐耗时,而且由于人的主观意识强会出现处理上的差异性。近年来,随着大规模图像数据的产生和计算能力的飞速发展,人工智能,尤其是深度学习技术在计算机视觉和图像处理领域取得了突破性的研究成果,其强大的特征学习能力引起了广泛的关注。将人工智能应用到医学影像处理中,不仅能够提高处理效率,而且为后续医生进行病情分析提供辅助作用。本文从医学影像分割的角度对深度学习在医学影像处理上的应用进行阐述。

  一、医学图像分割

  图像分割是指按照一定的特征属性将图像分为几个特定的互不相交的“连通”区域的过程,相关特征在同一区域内具有一定的一致性或相似性,而在不同区域内具有明显差异,这种差异在每个区域的边界处最为明显。医学图像分割则是根据某些特征(例如灰度、纹理、频域特征等)将2D或者3D医学图像进行图像分割。医学图像分割在医学研究、临床诊断、病理分析以及影像信息处理等研究与实践领域具有重要的学术研究意义和应用价值,主要用于:(1)感兴趣区域提取,便于医学图像分析。(2)计算人体器官、组织或病灶的容积、体积等,便于临床参数的计算。(3)图像的三维重建或可视化。(4)医学图像检索研究等。

  由于人体内部和周遭环境的种种复杂因素的干扰以及成像噪声、伪影、溶积效应的影响,实际获取到的医学图像具有模糊、灰度不均匀,甚至不同组织间灰度几乎接近的缺陷。此外,人体的解剖结构具有一定的复杂性以及个体对病理或病灶在各自的生理条件下反映具有很大的差异性。这些复杂的条件给医学图像分割带来了很大的难度。现如今,为了获得更多的图像信息,人们已经将处理对象从2D图像转换到3D甚至4D影像,这样的转换不仅增加了图像的复杂性而且也为计算机存储与处理增加了难度,从而使得分割处理也更加困难。

  对于医学图像的分割,大体可以分为人工分割、半自动分割和全自动分割三种方式。人工分割是指由有经验的放射科医师直接在原始图像上进行边界勾画或者借助图像处理软件对影像进行边界或感兴趣区域的提取。这种人工分割的方法繁琐耗时,导致效率低下,并且容易受到人的主观意识的影响而造成分割的差异性。半自动分割算法主要是将计算机处理数据能力与人为操作进行结合的算法,这种半自动操作虽然运用了计算机的数据处理与数据分析技术,但是依然需要结合放射科医师的经验。半自动分割算法虽然提高了处理效率,但是并没有完全将人从中解放出来。全自动分割算法则是完全脱离人的干预,不受人为因素的影响,完全由计算机进行图像分割过程。由于全自动分割算法的复杂性以及运算上的效率和时间问题,在很多情况下,分割结果并不能满足要求,因此,研究全自动分割算法一直是人类的追求,而且高效、实用的全自动分割算法往往是研究的重点。

  近几年,人工智能,尤其是深度学习迅速发展,基于深度学习的分割方法已在图像分割领域取得了显著成就,其分割准确度已经超过了传统的分割算法。深度学习技术能够从大量数据当中自主学习到图像特征。为得到更为符合需求的分割结果,近两年将深度学习应用到了医学影像分割当中。

  二、深度学习与分割算法

  1.深度学习的发展

  深度学习是在人工神经网络的基础上演变而来的,其典型例子是前馈深度网络或多层感知机(MLP)。20世纪40年代到20世纪60年代,随着生物学理论的发展和第一个模型的实现(如感知机),单个神经元能够实现训练。但是类似于这种简单的线型模型有很多局限性。最著名的就是它无法学习XOR函数。正是这些局限性,使得人工神经网络的热度下降。20世纪80年代后期,向后传播算法的出现及其在人工神经网络中的应用,极大地推进了机器学习的发展。由于当时的硬件设备的局限性以及理论分析的匮乏使得人们认为深度网络是难以训练的。与此同时,机器学习的其他领域得到了很好的发展。这样的境遇,使得人工神经网络再次走向没落。2006年,深度学习概念的出现使得人工神经网络第三次出现在人们的面前,学术界纷纷加入到这一行列当中。由于数学论证的难度和网络模型的复杂度,关于深度学习理论方面的研究仍处于初级阶段,但是其在工程应用方面却显现出巨大的潜力。2012年6月,Andrew Ng(吴恩达)带领的团队创建的深层神经网络,经过充分的训练,能够让机器系统自动识别出猫的图像。这是深度学习领域最著名的案例之一,引起了各界的关注。现如今,深度学习在语音、计算机视觉与自然语言处理这三大方面获得的重大突破,使得世界各国、各个科技公司纷纷加大在深度学习领域的投入。

  2.深度学习在医学图像分割中的相关技术

  图像分割本质上是像素级别的分类,即判断图像上每一个像素点的所属类别。典型的用于图像分类问题的卷积神经网络由于其后端使用的是全连接层,因此,要求输入图像的大小固定不变。最初使用卷积神经网络进行图像分割时,为了对每个像素进行分类,通常会使用该像素周围的一个图像块(patch)作为卷积神经网络的输入用于训练和预测,并且每个图像块大小相同。这种方法存在存储开销过大和计算效率低下的缺点。前者是因为将图像分割成小块进行存储,后者是因为大多数像素的卷积被重复计算了多次。针对这样的问题,Long等人 [1]在2015年提出全卷积神经网络。

  2.1 全卷积神经网络(Fully Convolutional Network,FCN)

  全卷积神经网络采用端到端学习模式实现了输出图像像素级分类。该网络模型将普通的卷积神经网络中的全连接层改为卷积层,保证了对任意尺寸的图像都能进行处理,并且在网络后端采用反卷积层对得到的特征热图进行上采样,保证网络输出图像大小与输入图像大小一致,实现了网络端到端的操作。该网络模型中的跳跃连接结构,结合上下文信息,为提高分割精度提供了很大的帮助。

  Goyal等人[2]使用同一个FCN对黑色素瘤、角膜以及良性病变进行训练,使得网络能够同时对三种目标进行分割。Tran[3]首次提出了用于心脏MRI左、右心室分割的FCN,该方法与已经存在的全自动分割算法相比,它的分割结果有所提升。Zhou等人[4]将FCN算法和多数投票算法相结合,在人体躯干CT图像中分割出了19个目标:使用2D-CT切片图像进行FCN网络训练,并用3D Majority Voting算法对分割结果进行表决,得到最后的分割结果。

  由于FCN实际更多的是直接对下采样后的特征热图直接进行上采样,因此它的像素定位并没有很精确,得到的结果相对较为粗糙,从而一般情况下,会对得到的分割结果进行一些后处理操作。

  2.2 U-Net

  2015年,Ronneberger等人[5]提出了U-Net网络结构,与FCN相似,该网络模型使用编码-解码结构以及跳跃连接结构。U-Net作为语义分割网络,适用于医学图像分割,并且针对数据量很小的生物医学图像数据集进行图像处理,获得了较好的分割结果。与FCN不同的是,U-Net的编码部分与解码部分采用对称结构,并且使用skip connection将编码与解码的特征图进行通道合并,这样的操作将编码部分的特征图直接传递到解码部分,使得U-Net在像素定位上更加准确,分割结果比FCN更加精准。

  U-Net自提出后,在医学图像分割中受到了研究者们的青睐,大多数的研究者在进行医学图像分割时最先采用的网络模型便是U-Net,并在U-Net的基础上提出改进。Drozdzal等人[6]研究了在普通U-Net中,除了较长的skip connection之外,还使用了类似于ResNet的短连接结构,通过实验证明了skip connection对生物医学图像分割的重要性。Poudel等人[7]将类似U-Net的网络结构与循环网络单元GRU结合,提出RFCN,该网络模型利用2D切片间的空间依懒性,改善了对心尖部分左心室内外膜的分割。Alom等人[8]将U-Net、残差网络结构与循环神经网络结构结合,提出了RU-Net和R2U-Net,并使用该网络进行了视网膜图像中的血管分割、皮肤癌分割和肺损伤分割。Çiçek等人[9]将2D U-Net延展到3D图像领域,提出3D U-Net网络结构,该网络结构将连续的2D切片序列作为输入实现3D图像分割。Milletari等人[10]提出了U-Net的3D变体V-Net,利用3D卷积层直接基于Dice系数进行目标函数完成三维图像分割。

  2.3 医学图像分割算法中的其他技术

  多尺度特征融合

  He等人[11]提出的空间金字塔池化模块(SPP)旨在使用任意尺寸大小的图像作为神经网络的输入。针对同一物体在不同图像上呈现尺度大小不同的问题,使用多尺度特征融合的网络不仅可以分割出尺度大的物体,也可以分割出尺度很小的物体。在图像分割中,多尺度的概念主要体现在输入图像尺度以及网络结构上。受SPP模块的启发,Chen等人[12]在DeepLab v2中使用了结合膨胀卷积的空间金字塔池化模块(ASPP)。这一模块使用不同大小采样率的膨胀卷积作为并行分支,提取不同尺度的特征,实现多尺度特征融合。Zhao等人[13]提出PSPNet,并在其中使用了另一种金字塔池化模块。该模块使用不同大小的池化层提取不同尺度的特征。值得一提的是PSPNet在不使用全连接条件随机场作为后处理的情况下,在PASCAL VOC2012数据集上取得当时最佳分割精度结果。Lin等人[14]提出了RefineNet,使用不同分辨率的特征图作为RefineNet模块的输入,并且将其用在网络的不同阶段,这样的操作在某种程度上缓解了图像信息丢失的问题。

  在医学影像分割方面,Kamnitsas等人[15]提出一种double-pathway的3D卷积神经网络,该网络模型使用多尺度输入图像,在分割创伤性脑损伤、脑肿瘤和缺血性中风病灶的任务上产生了较好的结果。Lian等人[16]提出一种新型全卷积神经网络用于分割MR图像中的血管周围空间。该网络模型使用多通道输入,提供管状结构信息和精细图像细节;使用多尺度特征来表征PVS与邻近组织之间的关联。

  后处理

  为了获得更为精准的分割结果,在使用网络模型对图像进行分割后,往往使用条件随机场(CRFs)对网络分割结果进行图像后处理。肝脏及其病变的自动分割是建立精确临床诊断和计算机辅助决策支持系统的定量生物标志物的重要一步。Christ等人[17]提出了一种利用层叠全卷积神经网络和密集三维条件随机场自动分割CT腹部图像肝脏和病变的方法。该方法对两种FCNs进行训练和级联,对肝脏及其病变进行联合分割并使用密集的3D CRF对网络分割结果进行细化。胎盘的定量评估对评估怀孕期间胎盘的健康状况很重要。Alansary等人[18]采用三维多尺度卷积神经网络对胚盘进行分割,并使用密集3D CRF对分割结果进行细化。

  总而言之,医学成像中的分割已经出现了大量深度学习相关方法。这些方法在公开发表的数据集中已经获得了相对较好的结果。

  

       以上内容精选于《人工智能》杂志第五期

  本文作者

  亢 寒

  现任推想科技先进研究院深度学习算法研究员。目前负责肺结节检索项目。2018年毕业于首都师范大学数学与信息技术专业,硕士,主要研究方向为图像处理、深度学习。

  张荣国

  北京推想科技有限公司深度学习高级科学家,先进研究院负责人,模式识别与智能系统专业博士,毕业于中科院自动化所,有十多年的图像识别算法方面的经验。近年来专注于带领团队将深度学习技术应用于医学影像的分析研究。

  陈 宽

  推想科技创始人兼CEO,将深度学习技术应用于医疗影像诊断的先行者之一。毕业于美国芝加哥大学,先后师从四位诺贝尔奖得主,攻读经济与金融双博士学位。2014年决定从美国休学回国创业,专注人工智能医疗影像诊断。

  欲阅读完整文章,可通过以下方式购买《人工智能》杂志!

  订阅2018年《人工智能》杂志6期共计360元

  银行转账:北京赛迪出版传媒有限公司

  开户行及账号:北京银行北洼路支行20000030565000007701154

  银行转账,请备注:人工智能

  接收详细信息请发到:aiview@ccidmedia.com;或是添加客服微信:13601092749

收藏