雷锋网（公众号：雷锋网）按： 本文整理自知乎问题“请问 CNN 中的 maxpool 到底是什么原理，为什么要取最大值，取最大值的原理是什么？谢谢。”的下Yjango和小白菜的回答。雷锋网已获得转载授权。 首先细讲一下 Max pooling。 Max pooling 在卷积后还会有

　　雷锋网（公众号：雷锋网）按：本文整理自知乎问题“请问 CNN 中的 maxpool 到底是什么原理，为什么要取最大值，取最大值的原理是什么？谢谢。”的下Yjango和小白菜的回答。雷锋网已获得转载授权。

　　首先细讲一下 Max pooling。

　　Max pooling

　　在卷积后还会有一个 pooling 的操作，尽管有其他的比如 average pooling 等，这里只提 max pooling。

　　max pooling 的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出 output。

　　图片来源：cs231n

　　max pooling 在不同的 depth 上是分开执行的，且不需要参数控制。 那么问题就 max pooling 有什么作用？部分信息被舍弃后难道没有影响吗？

　　图片来源：cs231n

　　Max pooling 的主要功能是 downsampling，却不会损坏识别结果。 这意味着卷积后的 Feature Map 中有对于识别物体不必要的冗余信息。 那么我们就反过来思考，这些 “冗余” 信息是如何产生的。

　　直觉上，我们为了探测到某个特定形状的存在，用一个 filter 对整个图片进行逐步扫描。但只有出现了该特定形状的区域所卷积获得的输出才是真正有用的，用该 filter 卷积其他区域得出的数值就可能对该形状是否存在的判定影响较小。 比如下图中，我们还是考虑探测 “横折” 这个形状。 卷积后得到 3x3 的 Feature Map 中，真正有用的就是数字为 3 的那个节点，其余数值对于这个任务而言都是无关的。 所以用 3x3 的 Max pooling 后，并没有对 “横折” 的探测产生影响。 试想在这里例子中如果不使用 Max pooling，而让网络自己去学习。 网络也会去学习与 Max pooling 近似效果的权重。因为是近似效果，增加了更多的 parameters 的代价，却还不如直接进行 Max pooling。

　　Max pooling 还有类似 “选择句” 的功能。假如有两个节点，其中第一个节点会在某些输入情况下最大，那么网络就只在这个节点上流通信息；而另一些输入又会让第二个节点的值最大，那么网络就转而走这个节点的分支。

　　但是 Max pooling 也有不好的地方。因为并非所有的抓取都像上图这样的极端例子。有些周边信息对某个概念是否存在的判定也有影响。 并且 Max pooling 是对所有的 Feature Maps 进行等价的操作。就好比用相同网孔的渔网打鱼，一定会有漏网之鱼。

　　下面对其他的 pooling 方法做一个简单的整理（前一段时间整理的个人觉得比较不错且流行的 pooling 方法）。

　　SUM pooling

　　基于 SUM pooling 的中层特征表示方法，指的是针对中间层的任意一个 channel（比如 VGGNet16, pool5 有 512 个 channel），将该 channel 的 feature map 的所有像素值求和，这样每一个 channel 得到一个实数值，N 个 channel 最终会得到一个长度为 N 的向量，该向量即为 SUM pooling 的结果。

　　AVE pooling

　　AVE pooling 就是 average pooling，本质上它跟 SUM pooling 是一样的，只不过是将像素值求和后还除以了 feature map 的尺寸。作者以为，AVE pooling 可以带来一定意义上的平滑，可以减小图像尺寸变化的干扰。设想一张 224224 的图像，将其 resize 到 448448 后，分别采用 SUM pooling 和 AVE pooling 对这两张图像提取特征，我们猜测的结果是，SUM pooling 计算出来的余弦相似度相比于 AVE pooling 算出来的应该更小，也就是 AVE pooling 应该稍微优于 SUM pooling 一些。

　　MAX pooling

　　MAX pooling 指的是对于每一个 channel（假设有 N 个 channel），将该 channel 的 feature map 的像素值选取其中最大值作为该 channel 的代表，从而得到一个 N 维向量表示。笔者在 flask-keras-cnn-image-retrieval中采用的正是 MAX pooling 的方式。

　　图片来源：Day 2 Lecture 6 Content-based Image Retrieval

　　上面所总结的 SUM pooling、AVE pooling 以及 MAX pooling，这三种 pooling 方式，在笔者做过的实验中，MAX pooling 要稍微优于 SUM pooling、AVE pooling。不过这三种方式的 pooling 对于 object retrieval 的提升仍然有限。

　　MOP pooling

　　MOP Pooling 源自 Multi-scale Orderless Pooling of Deep Convolutional Activation Features这篇文章，一作是 Yunchao Gong，此前在搞哈希的时候，读过他的一些论文，其中比较都代表性的论文是 ITQ，笔者还专门写过一篇笔记论文阅读：Iterative Quantization 迭代量化。MOP pooling 的基本思想是多尺度与 VLAD（VLAD 原理可以参考笔者之前写的博文图像检索：BoF、VLAD、FV 三剑客），其具体的 pooling 步骤如下：

　　来源：Multi-scale Orderless Pooling of Deep Convolutional Activation Features

　　Overview of multi-scale orderless pooling for CNN activations （MOP-CNN）. Our proposed feature is a concatenation of the feature vectors from three levels: （a）Level 1, corresponding to the 4096-dimensional CNN activation for the entire 256256image; （b） Level 2, formed by extracting activations from 128128 patches and VLADpooling them with a codebook of 100 centers; （c） Level 3, formed in the same way aslevel 2 but with 64*64 patches.

　　具体地，在 L=1 的尺度下，也就是全图，直接 resize 到 256*256 的大小，然后送进网络，得到第七层全连接层 4096 维的特征；在 L=2 时，使用 128*128（步长为 32） 的窗口进行滑窗，由于网络的图像输入最小尺寸是 256*256，所以作者将其上采样到 256256，这样可以得到很多的局部特征，然后对其进行 VLAD 编码，其中聚类中心设置为 100，4096 维的特征降到了 500 维，这样便得到了 50000 维的特征，然后将这 50000 维的特征再降维得到 4096 维的特征；L=3 的处理过程与 L=2 的处理过程一样，只不过窗口的大小编程了 64*64 的大小。

　　作者通过实验论证了 MOP pooling 这种方式得到的特征一定的不变性。基于这种 MOP pooling 笔者并没有做过具体的实验，所以实验效果只能参考论文本身了。

　　CROW pooling

　　对于 Object Retrieval，在使用 CNN 提取特征的时候，我们所希望的是在有物体的区域进行特征提取，就像提取局部特征比如 SIFT 特征构 BoW、VLAD、FV 向量的时候，可以采用 MSER、Saliency 等手段将 SIFT 特征限制在有物体的区域。同样基于这样一种思路，在采用 CNN 做 Object Retrieval 的时候，我们有两种方式来更细化 Object Retrieval 的特征：一种是先做物体检测然后在检测到的物体区域里面提取 CNN 特征；另一种方式是我们通过某种权重自适应的方式，加大有物体区域的权重，而减小非物体区域的权重。CROW pooling （ Cross-dimensional Weighting for Aggregated Deep Convolutional Features ） 即是采用的后一种方法，通过构建 Spatial 权重和 Channel 权重，CROW pooling 能够在一定程度上加大感兴趣区域的权重，降低非物体区域的权重。其具体的特征表示构建过程如下图所示：