雷锋网（公众号：雷锋网）按：本文由图普科技编译自 《MediCAl ImaGE Analysis with Deep Learning Part2》 ，是最近发表的《深度学习下的医学图像分析（一）》的后续文章。雷锋网独家首发。 在《深度学习下的医学图像分析》系列的第一篇文章中，我们介绍

　　雷锋网（公众号：雷锋网）按：本文由图普科技编译自《MediCAl ImaGE Analysis with Deep Learning Part2》，是最近发表的《深度学习下的医学图像分析（一）》的后续文章。雷锋网独家首发。

　　在《深度学习下的医学图像分析》系列的第一篇文章中，我们介绍了一些使用OpenCV和DICOM图像基础知识进行图像处理的过程。本文，我们将从“卷积神经网络”的角度讨论深度学习。在系列的第三部分，我们将利用Kaggle的肺癌数据库，重新查看肺癌DICOM图像中的关键内容和信息，并且利用Kera开发一个肺癌预测模型。

　　“卷积神经网络”（CNN）在了解“卷积神经网络”之前，我们要先知道什么是“卷积”。

　　何为“卷积”？

　　维基百科对“卷积”的定义是：一个关于两个函数的数学运算。这个数学运算将会产生两个原始函数之外的第三个函数，这个函数通常被看作是两个原始函数之一的修正版，实际上是这两个原始函数的点乘式相乘的积分。我们可以简单地将第三个函数理解为“一个矩阵上的滑动窗口函数”。

　　图片来源：deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolution

　　如上图所示，绿色表示的是滑动窗口，红色的是滑动窗口矩阵，输出的结果是带有卷积特性的矩阵。下图是两个方形脉冲的卷积及其输出结果。

　　图片来源：维基百科

　　Jeremy Howard在他的MOOC课程里，利用一个Excel表格很好地解释了“卷积”。f和g两个矩阵的卷积输出是第三个矩阵卷积的第一层，也是这两个矩阵的点乘结果。这两个矩阵的点乘结果是下图所示的“标量矩阵”，也是一个数学函数的来源。

　　两个矩阵的点乘结果

　　像Jeremy一样，我们也来利用Excel表格。我们输入的矩阵是函数f（），滑动窗口矩阵是函数g（）。两个函数的点乘结果是表格中的两个矩阵的和积，如下图所示：

　　两个矩阵的卷积

　　接下来，我们把这个规律用到大写字母A的一张图像。大家都知道，所有图像都是由像素构成的。因此，我们输入的矩阵f是“A”，把滑动窗口函数定为任意的矩阵g。然后，我们就得到了两个函数的点乘结果，如下图：

　　何为“卷积神经网络”？

　　图片来源:cs231n.github.io/convolutional-networks/

　　在我看来，一个简单的卷积神经网络CNN是所有层的一个序列。每一层都有一些特定的函数。每个卷积层都是三维的，所以我们用体积来作为度量标准。再进一步，卷积神经网络的每一层都会通过一个可微函数来将激活量转化为另一个，这个函数叫做“激活”或者“转化函数”。

　　“卷积神经网络”包含的不同实体分别是：输入层、过滤器（或内核）、卷积层、激活层、聚积层、批处理层。虽然这些层的组合排列各异，但是在不同的排列中还是存在一些规律的，给我们提供了不同的深度学习架构。

　　输入层：一般情况下，我们输入至“卷积神经网络”的通常是一个n维数组。如果是一张图像，我们有彩色通道的三维输入――长、宽、高。

　　图片来源:

　　过滤器（或内核）：如下图所示，一个过滤器或内核会滑动到图像的所有位置，将一个新像素作为所有像素的加权总和来进行计算。正如上面Excel表格的示例，我们的过滤器g移动到了输入的矩阵f处。

　　来源:intellabs.github.io/RiverTrail/tutorial/

　　卷积层：输入矩阵的点乘结果与内核共同创造出的新矩阵就是“卷积矩阵”，也被称作“卷积层”。

　　来源:https://docs.gimp.org/en/plug-in-convMATrix.html

　　下面这张非常清晰的视觉图表能够帮助你能更好地了解卷积填充和卷积转置的具体过程：

　　来源:https://github.com/vdumoulin/conv_arithmetic

　　激活层：“激活函数”能分成两类――“饱和激活函数”和“非饱和激活函数”。

　　sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点：

　　1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。

　　2.其次，它能加快收敛速度。

　　Sigmoid函数需要一个实值输入压缩至[0,1]的范围

　　σ（x） = 1 / （1 + exp（？x））

　　tanh函数需要讲一个实值输入压缩至 [-1, 1]的范围

　　tanh（x） = 2σ（2x） ？ 1

　　ReLU

　　ReLU函数代表的的是“修正线性单元”，它是带有卷积图像的输入x的最大函数（x,o）。ReLU函数将矩阵x内所有负值都设为零，其余的值不变。ReLU函数的计算是在卷积之后进行的，因此它与tanh函数和sigmoid函数一样，同属于“非线性激活函数”。这一内容是由Geoff Hinton首次提出的。

　　ELUs

　　ELUs是“指数线性单元”，它试图将激活函数的平均值接近零，从而加快学习的速度。同时，它还能通过正值的标识来避免梯度消失的问题。根据一些研究，ELUs分类精确度是高于ReLUs的。下面是关于ELU细节信息的详细介绍：

　　图片来源:

　　图片来源：维基百科

　　Leaky ReLUs

　　ReLU是将所有的负值都设为零，相反，Leaky ReLU是给所有负值赋予一个非零斜率。Leaky ReLU激活函数是在声学模型（2013）中首次提出的。以数学的方式我们可以表示为：

　　图片来源：《卷积网络中整流激活函数的实证评估》

　　上图中的ai是（1，+∞）区间内的固定参数。

　　参数化修正线性单元（PReLU）

　　PReLU可以看作是Leaky ReLU的一个变体。在PReLU中，负值部分的斜率是根据数据来定的，而非预先定义的。作者称，在ImageNet分类（2015，RussaKOvsky等）上，PReLU是超越人类分类水平的关键所在。

　　随机纠正线性单元（RReLU）

　　“随机纠正线性单元”RReLU也是Leaky ReLU的一个变体。在RReLU中，负值的斜率在训练中是随机的，在之后的测试中就变成了固定的了。RReLU的亮点在于，在训练环节中，aji是从一个均匀的分布U（I,u）中随机抽取的数值。形式上来说，我们能得到以下结果：

　　下图是ReLU、Leaky ReLU、PReLU和RReLU的比较：

　　图片来源:https://arxiv.org/pdf/1505.00853.pdf

　　PReLU中的ai是根据数据变化的；Leaky ReLU中的ai是固定的；RReLU中的aji是一个在一个给定的范围内随机抽取的值，这个值在测试环节就会固定下来。

　　噪声激活函数

　　这些是包含了Gaussian噪声的激活函数，下图能帮助你了解“噪声”是如何与激活函数相结合的：

　　图片来源：维基百科

　　聚积层