0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

卷积神经网络中的池化方式

OpenCV学堂 来源:OpenCV学堂 2023-10-21 09:42 次阅读

重叠与区域+最大与均值池化

卷积神经网络的最基本结构有卷积层跟池化层,一般情况下,池化层的作用一般情况下就是下采样与像素迁移不变性。根据步长区分,池化可以分为重叠池化与区域池化,图示如下:

030394f4-5f8a-11ee-939d-92fbcf53809c.png

上面的池化都是使用窗口内的最大值,因此又称为最大值池化,除了最大值池化,还有均值池化可以使用,关于最大值池化与均值池化的计算方式图示如下:

030f0d2a-5f8a-11ee-939d-92fbcf53809c.png

图1

这个时候很多人会讨论,均值池化与最大值池化哪种方式最好的问题,其实我只要给大家看一张图,大家就会马上明白,所谓最好是个无聊的问题:

0333d876-5f8a-11ee-939d-92fbcf53809c.png

图2

可见无论是哪种池化方式都有自己的弊端!

全局池化方式

上面的池化方式主要是在卷积层中使用,在卷积神经网络设计中还有一类池化,称为全局池化方式,这里池化主要包括全局均值池化与全局最大池化,图示如下:

03482a9c-5f8a-11ee-939d-92fbcf53809c.png

图3

0355505a-5f8a-11ee-939d-92fbcf53809c.png

图4

此外还有一种相对来说比较少见的全局池化方式,它称为:全局深度池化,假设的它输入是图4左侧部分,则池化之后的输出之后w跟h值仍然为6保持不变,但是深度d=1,不管之前的d值是多大,深度池化之后的d=1,全局深度池化还可以进一步细分为全局深度均值池化与全局深度最大值池化

变种池化方式

上面都是常用跟比较正常的池化方式,最近池化方式还产生一些比较特殊的池化方式。这些池化方式主要包括:

01混合池化

最大值池化主要提取最大激活,而均值池化则通过抑制最大激活来实现池化,这两中方式都有弊端,为了克服这两张池化方式的弊端,有人提出了混合池化方式,它公式表示如下:

036b568e-5f8a-11ee-939d-92fbcf53809c.png

其中参数使用随机选择,当为0时候是均值池化,当为1时候为最大值池化

02Lp池化

通过正则化改进比最大池化的效果要好,其公式表示如下:

037794f8-5f8a-11ee-939d-92fbcf53809c.png

当p=1,时候它就是均值池化效果

当p等于无穷大时候,其效果接近于最大池化效果

当p>1 时候兼有均值池化与最大池化的效果

03世故池化

它的工作方式解析如下:

0381fc90-5f8a-11ee-939d-92fbcf53809c.png

0390bd0c-5f8a-11ee-939d-92fbcf53809c.png

04空间金字塔池化(SPP池化)

通过池化输出指定大小的特征向量,从而限制网络输出的大小,SPP层一般位于卷积神经网络的最后一个卷积层,通过SPP池化固定大小输出,然后交给全链接层处理。SPP层池化过程图示如下:

03a3a642-5f8a-11ee-939d-92fbcf53809c.png

05ROI池化(Region of Interest Pooling)

是在RCNN系列网络中使用的池化层,主要用来实现把不同比率或者分辨率大小的输入特征转换为固定大小特征。ROI Pooling图示如下:

03c3d70a-5f8a-11ee-939d-92fbcf53809c.png

06MOP池化(Multi-scale order-less pooling

基于多尺度的池化方式,提升了卷积网络的不变性同时没有破坏卷积网络的可鉴别性,分布从全局与局部池化中提取特征

07超像素池化(Super-pixel Pooling)

超像素本质上是一张过度分割的图像,一般都是基于像素分组的方式生成,图像的超像素表示在对象检测、语义分割、显著性检测、光流与深度估算、对象跟踪上都有广泛有用。

通过一个超像素池化网络(SPN)实现低水平的图像结构提取从而提供给弱监督情景下的图像语义分割与学习。

08光谱池化

图像池化不光发生在空间域,还可以通过DFT变换,在频域空间实现池化。

不同的池化采样方式得到的不同清晰度与分辨率的图像。

09基于排名的均值池化

这种池化方式的好处事可以克服最大池化与均值池化方式的不足,公式如下:

043f5592-5f8a-11ee-939d-92fbcf53809c.png

图示解释如下:

044abb4e-5f8a-11ee-939d-92fbcf53809c.png

更多的池化池化方式还包括行池化,基于权重的池化等,还有各种基于池化的深度神经网络,总之,选择适合的池化方式也是一门技术活!

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4779

    浏览量

    101102
  • 卷积神经网络

    关注

    4

    文章

    367

    浏览量

    11908
  • 池化
    +关注

    关注

    0

    文章

    4

    浏览量

    1116

原文标题:干货 | 那些鬼斧神工的池化操作,看完我炸裂!

文章出处:【微信号:CVSCHOOL,微信公众号:OpenCV学堂】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【PYNQ-Z2申请】基于PYNQ的卷积神经网络加速

    ,得到训练参数2、利用开发板arm与FPGA联合的特性,在arm端实现图像预处理已经卷积神经网络、激活函数和全连接,在FPGA端实现卷积
    发表于 12-19 11:37

    卷积神经网络如何使用

    卷积神经网络(CNN)究竟是什么,鉴于神经网络在工程上经历了曲折的历史,您为什么还会在意它呢? 对于这些非常中肯的问题,我们似乎可以给出相对简明的答案。
    发表于 07-17 07:21

    卷积神经网络一维卷积的处理过程

    。本文就以一维卷积神经网络为例谈谈怎么来进一步优化卷积神经网络使用的memory。文章(卷积神经网络
    发表于 12-23 06:16

    卷积神经网络模型发展及应用

    的过程存在梯度消失的问题[23],神经网络再 次慢慢淡出人们的视线。1998 年 LeCun 发明了 LeNet-5,并在 Mnist 数据 集达到 98%以上的识别准确率,形成影响深远的卷积
    发表于 08-02 10:39

    卷积神经网络简介:什么是机器学习?

    ,用于描述网络的方程也有 32 个偏差和 32 个权重。CIFAR神经网络是一种广泛用于图像识别任务的CNN。它由两种主要类型的层组成:卷积层和
    发表于 02-23 20:11

    卷积神经网络的基本原理 卷积神经网络发展 卷积神经网络三大特点

    中最重要的神经网络之一。它是一种由多个卷积层和层(也可称为下采样层)组成的神经网络。CNN 的基本思想是以图像为输入,通过
    的头像 发表于 08-21 16:49 2573次阅读

    卷积神经网络层级结构 卷积神经网络卷积层讲解

    像分类、目标检测、人脸识别等。卷积神经网络的核心是卷积层和层,它们构成了网络的主干,实现了对
    的头像 发表于 08-21 16:49 9082次阅读

    卷积神经网络的介绍 什么是卷积神经网络算法

    的深度学习算法。CNN模型最早被提出是为了处理图像,其模型结构包含卷积层、层和全连接层等关键技术,经过多个卷积层和
    的头像 发表于 08-21 16:49 1941次阅读

    常见的卷积神经网络模型 典型的卷积神经网络模型

    LeNet是卷积神经网络的开山祖师,是由Yan LeCunn在1998年提出的经典卷积神经网络模型。它最初是为手写体数字识别而设计的,由卷积
    的头像 发表于 08-21 17:11 3005次阅读

    cnn卷积神经网络模型 卷积神经网络预测模型 生成卷积神经网络模型

    视觉领域,随着人们对该模型的深入研究,它也逐渐被应用于自然语言处理、语音识别等领域。本文将着重介绍CNN的模型原理、训练方法以及在实际应用的效果。 一、模型原理 CNN的核心思想是通过输入维度互相不同的样本,通过卷积
    的头像 发表于 08-21 17:11 1293次阅读

    卷积神经网络模型的优缺点

    等领域中非常流行,可用于分类、分割、检测等任务。而在实际应用卷积神经网络模型有其优点和缺点。这篇文章将详细介绍卷积神经网络模型的特点、优
    的头像 发表于 08-21 17:15 4718次阅读

    cnn卷积神经网络分类有哪些

    卷积神经网络概述 卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,由多层卷积层和
    的头像 发表于 07-03 09:28 721次阅读

    卷积神经网络层的作用

    在深度学习领域,卷积神经网络(Convolutional Neural Network, CNN)以其卓越的图像处理和计算机视觉能力而广受欢迎。CNN由多个层组成,其中包括卷积层、
    的头像 发表于 07-03 15:58 1953次阅读

    神经网络卷积层、层与全连接层

    在深度学习卷积神经网络(Convolutional Neural Network, CNN)是一种特别适用于处理图像数据的神经网络结构。它通过
    的头像 发表于 07-11 14:18 6819次阅读

    卷积神经网络的基本概念、原理及特点

    的基本概念、原理、特点以及在不同领域的应用情况。 一、卷积神经网络的基本概念 卷积神经网络是一种深度学习算法,它由多层卷积层和
    的头像 发表于 07-11 14:38 1262次阅读