0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基本图像处理技术的数据增强方法介绍

新机器视觉 来源:计算机视觉研究院 作者:Edison_G 2022-11-23 11:12 次阅读

数据增强(DA)是训练先进的AI算法模型的必要技术,不过并不是所有的数据增强都能提升模型精度,在今天的分享中,从数据增强的角度,对于多种增强方式的效果进行了验证测试,希望对大家有帮助!

一、前言&简要

为了缓解上述问题,有研究者提出了一种简单而高效的方法,称为保持增强(KeepAugment),以提高增强图像的保真度。其主要思想是首先使用显著性map来检测原始图像上的重要区域,然后在增强过程中保留这些信息区域。这种信息保护策略使我们能够生成更忠实的训练示例。

在实验上,也证明了该方法在一些现有的技术数据增强方案上有了显著的改进,例如:自动增强、裁剪、随机擦除,在图像分类、半监督图像分类、多视点多摄像机跟踪和目标检测等方面取得了很好的效果。

二、知识回顾

首先我们回一下什么叫“数据增强”?数据增强(Data Augmentation)是一种通过让有限的数据产生更多的等价数据来人工扩展训练数据集的技术。它是克服训练数据不足的有效手段,目前在深度学习的各个领域中应用广泛。但是由于生成的数据与真实数据之间的差异,也不可避免地带来了噪声问题。

为什么需要数据增强?

深度神经网络在许多任务中表现良好,但这些网络通常需要大量数据才能避免过度拟合。遗憾的是,许多场景无法获得大量数据,例如医学图像分析。数据增强技术的存在是为了解决这个问题,这是针对有限数据问题的解决方案。数据增强一套技术,可提高训练数据集的大小和质量,以便您可以使用它们来构建更好的深度学习模型。在计算视觉领域,生成增强图像相对容易。即使引入噪声或裁剪图像的一部分,模型仍可以对图像进行分类,数据增强有一系列简单有效的方法可供选择,有一些机器学习库来进行计算视觉领域的数据增强,比如:imgaug (https://github.com/aleju/imgaug)它封装了很多数据增强算法,给开发者提供了方便。

计算视觉数据增强

计算视觉领域的数据增强算法大致可以分为两类:第一类是基于基本图像处理技术技术的数据增强,第二个类别是基于深度学习的数据增强算法。下面先介绍基于基本图像处理技术的数据增强方法:

1、flipping翻转 一般都是水平方向翻转而少用垂直方向,即镜像变换。图像数据集上证实有用(CIFAR-10,ImageNet等),但无法应用在文本识别数据集(MNIST,SVHN等)

2、color space色彩空间 简单做法是隔离单个色彩通道,例如R,G或B,此外可以通过简单的矩阵运算以增加或减少图像的亮度。更高级的做法从颜色直方图着手,更改这些直方图中的强度值(想到了图像处理中的直方图均衡)。

3、cropping裁剪 分统一裁剪和随机裁剪。统一裁剪将不同尺寸的图像裁剪至设定大小,随机裁剪类似translation,不同之处在于translation保留原图尺寸而裁剪会降低尺寸。裁剪要注意不要丢失重要信息以至于改变图像标签

4、rotation旋转 要注意旋转度数。以MNIST为例,轻微旋转(例如1°-20°)可能有用,再往后增加时数据标签可能不再保留。

5、translation位置变换 向左,向右,向上或向下移动图像可能是非常有用的转换,以避免数据中的位置偏差。例如人脸识别数据集中人脸基本位于图像正中,位置变换可以增强模型泛化能力。

6、noise injection添加噪声 添加高斯分布的随机矩阵 7、color space transformations色彩空间增强 照明偏差是图像识别问题中最常见的挑战之一,因此色彩空间转换(也称为光度转换)的比较直观有效。 ①遍历图像以恒定值减少或增加像素值(过亮或过暗) ②拼接出(splice out)各个RGB颜色矩阵 ③将像素值限制为某个最小值或最大值 ④操作色彩直方图以改变图像色彩空间特征 注意将彩色图转换黑白虽然简化了这些操作,但精度会降低 geometric versus photometric transformations几何与光度转换

1、kernel flters内核过滤器 平滑和锐化,即图像处理中用卷积核滑过整幅图像的操作。这一点尚未开发,它和CNN中卷积机制非常相似(就一样啊),因此可以通过调整网络参数更好地改善网络,而不需要额外进行这样的数据增强操作。

2、mixing images图像混合 做法是通过平均图像像素值将图像混合在一起:

51130fb6-6a45-11ed-8abf-dac502259ad0.jpg

mixing images 研究发现是当混合来自整个训练集的图像而不是仅来自同一类别的实例的图像时,可以获得更好的结果。其它一些做法: ①一种非线性方法将图像组合成新的训练实例:

512a9492-6a45-11ed-8abf-dac502259ad0.jpg

非线性方法 ②另一方法是随机裁剪图像并将裁剪后的图像连接在一起以形成新图像:

514b3274-6a45-11ed-8abf-dac502259ad0.jpg

随机裁剪再拼接 这类方法从人的视角看毫无意义,但确实提升了精度。可能解释是数据集大小的增加导致了诸如线和边之类的低级特征的更可靠表示。 3、random erasing随机擦除 这一点受到dropout正规化的启发,随机擦除迫使模型学习有关图像的更多描述性特征,从而防止过拟合某个特定视觉特征。随机擦除的好处在于可以确保网络关注整个图像,而不只是其中的一部分。最后随机擦除的一个缺点是不一定会保留标签(例如文本8->6)。

516a1504-6a45-11ed-8abf-dac502259ad0.jpg

三、新方法

新方法控制数据增强的保真度,从而减少有害的错误信息。研究者的想法是通过显著性映射测量图像中矩形区域的重要性,并确保数据增强后始终呈现得分最高的区域:对于裁剪,通过避免切割重要区域(见下图a5和b5);对于图像级转换,通过将重要区域粘贴到转换图像顶部(参见下图a6和b6)。

517e008c-6a45-11ed-8abf-dac502259ad0.png

51a5b636-6a45-11ed-8abf-dac502259ad0.png

Eq2:

51b99070-6a45-11ed-8abf-dac502259ad0.png

Eq3:

51ca5f5e-6a45-11ed-8abf-dac502259ad0.png

51d8f6ae-6a45-11ed-8abf-dac502259ad0.png

51ec5e42-6a45-11ed-8abf-dac502259ad0.png

四、实验

521c0688-6a45-11ed-8abf-dac502259ad0.png

522987f4-6a45-11ed-8abf-dac502259ad0.png

523a09bc-6a45-11ed-8abf-dac502259ad0.png

52594250-6a45-11ed-8abf-dac502259ad0.png

526a106c-6a45-11ed-8abf-dac502259ad0.png

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100720
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268908

原文标题:检测&分类训练技巧,不是所有的数据增强,都可以提升算法精度!

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    傅立叶变换在图像处理中的作用

    傅里叶变换在图像处理中发挥着至关重要的作用。以下是傅里叶变换在图像处理中的几个主要作用: 一、图像增强
    的头像 发表于 12-06 16:55 377次阅读

    【每天学点AI】实战图像增强技术在人工智能图像处理中的应用

    图像增强(ImageEnhancement)是人工智能和计算机视觉中一项重要的技术,也是人工智能数据集预处理的一个重要步骤。它旨在提高
    的头像 发表于 11-22 17:14 513次阅读
    【每天学点AI】实战<b class='flag-5'>图像</b><b class='flag-5'>增强</b><b class='flag-5'>技术</b>在人工智能<b class='flag-5'>图像</b><b class='flag-5'>处理</b>中的应用

    傅里叶变换与图像处理技术的区别

    在数字信号处理图像分析领域,傅里叶变换和图像处理技术是两个核心概念。尽管它们在实际应用中常常交织在一起,但它们在本质上有着明显的区别。 傅
    的头像 发表于 11-14 09:30 316次阅读

    图像采集卡:增强视觉数据采集

    图像采集卡介绍:在视觉数据采集领域,图像采集卡在捕获和处理来自各种来源的图像或视频方面发挥着关键
    的头像 发表于 09-24 11:06 301次阅读
    <b class='flag-5'>图像</b>采集卡:<b class='flag-5'>增强</b>视觉<b class='flag-5'>数据</b>采集

    图像识别算法的提升有哪些

    方法数据增强 数据增强是提高图像识别算法性能的一种有效
    的头像 发表于 07-16 11:12 641次阅读

    图像识别技术包括自然语言处理

    图像识别技术与自然语言处理是人工智能领域的两个重要分支,它们在很多方面有着密切的联系,但也存在一些区别。 一、图像识别技术与自然语言
    的头像 发表于 07-16 10:54 738次阅读

    图像识别技术的原理是什么

    图像识别技术是一种利用计算机视觉和机器学习技术图像进行分析和理解的技术。它可以帮助计算机识别和理解图像
    的头像 发表于 07-16 10:46 916次阅读

    ar增强现实技术的特点是什么

    体验。本文将详细介绍AR技术的特点。 一、AR技术技术原理 1.1 视觉追踪技术 视觉追踪技术
    的头像 发表于 07-04 11:42 855次阅读

    机器人视觉技术图像分割方法有哪些

    和分析。本文将详细介绍图像分割的各种方法,包括传统的图像处理方法和基于深度学习的
    的头像 发表于 07-04 11:34 937次阅读

    FPGA设计经验之图像处理

    设计基本方法: 1.阵列结构结合流水线处理设计 例如RGB图像,包括三组数据处理时需要并行三通道后,每个通道进行分别的串行流水
    发表于 06-12 16:26

    荣耀终端有限公司“图像处理方法及装置”专利公布

    荣耀终端有限公司已获批“图像处理方法及装置”专利,该项技术主要运用于电子设备领域,旨在解决传统成像存在的图像质量缺陷,提升用户视觉体验。
    的头像 发表于 05-23 09:46 377次阅读
    荣耀终端有限公司“<b class='flag-5'>图像</b><b class='flag-5'>处理</b><b class='flag-5'>方法</b>及装置”专利公布

    基于TOF深度相机的图像处理专利获授权

    该专利主要涉及图像处理技术领域,特别是针对基于TOF深度相机的图像处理方法和存储媒介进行了深入研
    的头像 发表于 04-15 10:04 407次阅读
    基于TOF深度相机的<b class='flag-5'>图像</b><b class='flag-5'>处理</b>专利获授权

    基于图像处理技术的螺纹几何参数测量系统设计

    摘要:针对螺纹几何参数测量过程中,传统人工测量效率低、仪器昂贵、耗时费力、偶伴有人为误差等不足。本研究采用非接触测量的方法, 利用计算机视觉的图像处理技术,通过系统标定、
    的头像 发表于 01-15 11:13 864次阅读
    基于<b class='flag-5'>图像</b><b class='flag-5'>处理</b><b class='flag-5'>技术</b>的螺纹几何参数测量系统设计

    FPGA图像处理之CLAHE算法

    在FPGA图像处理--CLAHE算法(一)中介绍了为啥要用CLAHE算法来做图像增强
    的头像 发表于 01-04 12:23 2512次阅读
    FPGA<b class='flag-5'>图像</b><b class='flag-5'>处理</b>之CLAHE算法

    FPGA图像处理-CLAHE算法介绍(一)

    介绍CLAHE算法之前必须要先提一下直方图均衡化,直方图均衡化算法是一种常见的图像增强算法,可以让像素的亮度分配的更加均匀从而获得一个比较好的观察效果。
    的头像 发表于 01-02 13:32 1726次阅读
    FPGA<b class='flag-5'>图像</b><b class='flag-5'>处理</b>-CLAHE算法<b class='flag-5'>介绍</b>(一)