一、前言

  • 深度学习算法：由许多层组成的网络，将输入数据（例如图像）转换为输出，同时学习越来越高级别的特征。
  • 迄今为止最成功的图像分析模型是卷积神经网络（CNN）。 CNN包含很多层，可以在很小程度上利用卷积滤波器来转换它们的输入。
  • 在计算机视觉领域，深度卷积网络现在已成为首选技术。医学影像分析界已经注意到这些关键的发展。但是，从使用手工功能的系统转换到从数据中学习功能的系统进度很慢。
  • 在AlexNet的突破之前，许多不同的学习功能的技术很受欢迎：它们包括主成分分析，图像补丁聚类，字典方法等等。
    • 第2节：介绍用于医学图像分析的主要深度学习技术；
    • 第3节：描述了深度学习对医学图像分析中典型任务的影响：分类，检测，分割，配准，检索，图像生成和增强；
    • 第4节：讨论了在不同应用领域获得的结果和开放挑战：神经，眼科，肺部，数字病理和细胞成像，乳房，心脏，腹部，肌肉骨骼和其他杂项应用。

二、Overview of deep learning methods

  • 随机梯度下降的最大似然是目前最常用的拟合参数的方法。
  • 以无监督的方式（预训练）逐层训练DNN通过对堆叠网络进行有监督的微调，可以获得良好的性能。以这种方式训练的两种流行体系结构是堆叠自动编码器（SAE）和深度置信网络（DBN）。但是，这些技术相当复杂，需要大量工程才能产生令人满意的结果。
  • 目前，最受欢迎的模型是以受监督的方式进行端对端训练，极大地简化了训练过程。 最流行的体系结构是卷积神经网络（CNN）和递归神经网络（RNN）。 尽管RNN越来越受欢迎，但CNN目前在（医学）图像分析中应用最广泛。
  • MLP与CNN的区别：
    • 网络中的权重以对图像执行卷积操作的方式共享，这样，模型不需要为在图像中不同位置出现的同一对象分别检测单独的检测器，从而使网络在输入的平移方面等同。它也大大减少了需要学习的参数的数量（即权重的数量不再取决于输入图像的大小）

Deep CNN Architectures

  • AlexNet或VGG等其他简单模型很受医学数据的欢迎。尽管最近的标志性研究都使用GoogleNet的一个名为Inception v3的版本
  • 将深度学习技术应用于医疗领域的挑战往往在于将现有架构适应于不同的输入格式，例如三维数据。 在CNN早期应用于这样的体积数据时，通过将感兴趣体积（VOI）分成切片并将其作为不同的流馈送到网络来规避全3D卷积和由此产生的大量参数。
  • 分割是自然和医学图像分析中的一项常见任务，为了解决这个问题，CNN可以简单地用于分别对图像中的每个像素进行分类，方法是在特定像素周围提取补丁。

Recurrent Neural Networks (RNNs)

  • RNN是为离散序列分析而开发的。 它们可以看作是MLP的泛化，因为输入和输出的长度都是不同的，这使得它们适用于诸如机器翻译这样的任务，其中源语言和目标语言的句子是输入和输出。
  • RBMs是一种马尔科夫随机场（MRF），它构成输入层或可见层x =（x1; x2;：：; xN），隐层h =（h1; h2;：： ：; hM）携带潜在特征表示。 节点之间的连接是双向的，因此给定一个输入向量x，可以获得潜在特征表示h，反之亦然。
  • 最近，引入了两种新颖的无监督体系结构：变分自动编码器（VAE）（Kingma和Welling，2013）和生成对抗网络（GAN）（Goodfellow等，2014）。 目前还没有同行评议的论文将这些方法应用于医学图像，但在自然图像中的应用是有希望的。
  • GPU的发展和开源软件包促进了深度学习在图像处理领域的发展。目前最流行的软件开源包有：
    • **Caffe:**提供C ++和Python接口，由加州大学伯克利分校的研究生开发。
    • **Tensorflow:**提供C ++和Python接口，由Google开发。
    • Theano：提供python接口，由蒙特利尔MILA实验室开发。
    • Torch：提供一个Lua接口。
  • 两个重要的深度学习库：

Deep Learning Uses in Medical Imaging

分类

  • 转移学习本质上是使用预先训练的网络来尝试解决大数据集的需求。

  • 确定了两种转移学习策略：

    • （1）使用预先训练的网络作为特征提取器，不需要训练深度网络，从而可以轻松地将提取的特征插入现有的图像分析流水线。；
    • （2）对医疗数据的预先训练的网络进行微调。

  • 在最近的使用CNN的论文中，作者也经常从头开始训练他们自己的网络架构，而不是使用预先训练好的网络。

  • 在图像分类中，CNN是当前的标准技术。尤其是对自然图像进行预训练的CNN显示出惊人的强大成果，在一些任务中挑战了人类专家的准确性。

  • 但是在通用深度学习架构中，组合病变外观和病变位置信息，这种组合通常室不可能的，一些作者使用多流体系结构以多尺度的方式解决这个问题， Shen et al等人使用了三个CNN，每个CNN以不同比例的结节补丁作为输入。然后将三个CNN的结果特征输出串联起来形成最终特征向量。

  • 几乎所有最近的论文都倾向于使用经过端到端培训的CNN。

  • CSAE和经典CNN之间的主要区别在于使用无监督预先训练和稀疏自动编码器。

  • 在对象注释生成训练数据昂贵的情况下，可以使用多实例学习（MIL）和深度学习的集成。

分割

  • 分割的任务通常被定义为识别组成感兴趣对象的轮廓或内部的体素集。
  • 分割是将深度学习应用于医学成像的论文中最常见的主题；
  • 新型CNN架构中最着名的医学图像分析是由Ronneberger等人发表的U-net。U-net中的两个主要建筑创新是等量上采样和下采样层的组合。
  • RNN最近在分割任务中变得越来越流行。
  • fCNN也已扩展到3D。
  • 病灶分割可以看成对象检测和器官分割方法的混合。

配准

  • 医学图像的配准（即空间对齐）是一种常见的图像分析任务，其中从一个医学图像到另一个医学图像计算坐标变换。
  • 当前文献中普遍存在两种策略：
  • （1）使用深度学习网络来估计两幅图像的相似性度量以推动迭代优化策略;
  • （2）使用深度回归网络直接预测变换参数。
  • 与分类和分割相比，研究界似乎还没有确定将深度学习技术整合到配准方法中的最佳方法。

其它

  • 基于内容的图像检索（CBIR）是一种在大量数据库中进行知识发现的技术。
  • CBIR方法开发中的主要挑战是从像素级信息中提取有效的特征表示，并将它们与有意义的概念联系起来。

腹部

  • 大多数腹部文件旨在定位和分割器官，主要是肝脏，肾脏，膀胱和胰腺。
  • 要注意的是两个分割的挑战 - SLIVER07肝和PROMISE12前列腺。

生物医学图像分析中的重大挑战