0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

高光谱成像系统:深度学习机载高光谱影像树种分类研究

莱森光学 来源:莱森光学 作者:莱森光学 2024-05-06 14:57 次阅读

传统的树种识别主要依靠人工实地踏勘,费时费力。遥感技术的快速发展弥补了人工调查方法的不足,与其他数据源相比,机载高光谱影像具有丰富的光谱信息和空间信息,能探测到不同树种间细微的差异,可实现高精度的树种识别。

基于

一、引言

树种识别是森林资源监测的重要内容之一,及时准确地获取树种信息是可持续森林管理和资源评估的基础。传统的树种识别主要依靠人工实地踏勘,费时费力。遥感技术的快速发展弥补了人工调查方法的不足,与其他数据源相比,机载高光谱影像具有丰富的光谱信息和空间信息,能探测到不同树种间细微的差异,可实现高精度的树种识别。传统的高光谱图像分类算法(如支持向量机、随机森林)需要提前对特征进行选择,会造成信息损失并降低分类精度。深度学习提供一种端到端的学习范式,可以自主地从大量数据中学习复杂非线性特征,避免了传统算法提取特征的复杂性和局限性。本文利用机载高光谱影像和深度学习方法对三个研究区中的树种进行分类研究。

二、研究区概况

铁岗水库位于中国广东省深圳市宝安区东南部(22°36′30″N,113°54′30″E),地理位置如图1所示。该地区属亚热带季风气候,气候温和,光照充足,雨量丰沛。多年平均气温 21.7℃,平均降水量 1664mm。平均海拔高度为23-76m。铁岗水库库区的自然地带性植被为季风常绿阔叶林,现存植被以人工次生林和人工林为主,在局部地区保存少量的次生灌木丛和湿地草甸,主要树种有水松、樟树、小叶榕、侧柏、红锥木、桉树和高山榕等。湿地草甸主要由乔本科和莎草科构成。本研究选择铁岗水库内一块森林样地作为研究区域,区域范围如图1红框标注所示。

wKgZomY4fz2AKx0_AAUuOdjnHJo519.png

图1铁岗水库研究区位置概况图

2.1数据获取

高光谱影像于2022年8月16日在晴朗无云的条件下获取。本研究利用某研究院自主集成的无人机高光谱系统对研究区进行数据采集。高光谱系统搭载在四旋翼无人机上,由高光谱成像仪、IMU和GPS三大部分组成,具备体积小、重量轻、灵活机动、实时性强等优势。高光谱传感器是一种推扫式扫描仪,在400-1000nm光谱范围内记录112个波段,光谱分辨率5nm。表2-2总结了高光谱传感器的详细参数。飞行高度设置为离地面约100m,空间分辨率为0.1m,飞行速度设置为4m/s。在飞行期间,共产生了7条航带,旁向重叠度为30%地面实测数据在飞行活动结束后进行集,共记录了7种树木。此外,本研究还利用高分辨率影像图进行目视解译,进一步扩充实地样本。具体的地面真实标签情况如表1示。

表1 铁岗水库数据集的地面真实标签情况。

wKgaomY4fz2AHCgcAACFLuOkgQs808.png

2.2数据处理

利用无人机高光谱系统获取的数据有原始高光谱数据、POS信息数据和时间同步数据。原始数据无法直接使用,需进行一定的数据预处理,如异常值去除、辐射定标、几何校正、大气校正等。流程图如图2所示。

wKgZomY4fz2AG3KKAABF6OpWrTg411.png

图 2高光谱数据预处理流程图

(1)去除异常值

利用无人机高光谱系统采集图像的过程中,会在某些像元中产生异常值,如图3所示,在某个波段处DN值会突然升高或突然降低。为此,需要通过算法对这些异常值进行去除。观察异常值可发现其有两大特点:①不是中位数;②与周围的DN值相差较大。本文根据异常值的特点提出了一种算法对其进行去除。

以某一含有异常值的像元为例,去除的主要步骤如下:

①依次遍历波段值,取其左右像素组成一个列表[xi-1,xi,xi+1]

②若该值为中位数,则继续遍历,若该值不是中位数,则计算与左右像素的相差值。

③如果Mean(xi- xi-1+ xi- xi+1)>n´ xi+1- xi-1(其中n为阈值),则判断该值为异常值,使用xi-1和xi+1的平均值来替代。

本文通过不同的算法对某一植被像元进行异常值去除,结果如图3所示。’

wKgaomY4fz6AObqrAAHVwve6SLY737.png

图 3异常值去除

可以看出,中值滤波虽然可以对异常值进行去除,但该算法会更改其他光谱值。SG滤波对异常值起到平滑作用,并不能完全去除异常值。MAD算法相比前两种算法来说效果更好,但会将非异常值判断为异常值。与其他算法相比,本文提出的去除算法效果更好,在去除异常值的过程中,不会更改其他非异常值。本研究利用该算法对整幅图像进行处理,去除光谱曲线中的异常值。

(2)辐射定标

高光谱传感器记录的是数字量化值(DN值),其无单位,是非物理量。为此,需要进行辐射定标来将图像的DN值转化为辐射亮度值或者反射率值等物理量。本文利用高光谱传感器厂商提供的定标公式和定标文件对图像进行辐射定标。定标公式如式(9)所示

wKgZomY4fz6AcYmSAAA1WRuVMWw446.png

其中:L是传感器测得地面目标的总辐射亮度,单位为mW/(cm2×sr× nm);calibration_gain为辐射定标系数,由传感器厂商提供,某一位置的定标系数如图3(a)所示;

wKgaomY4fz6AIDKGAAEvsQq5YMo717.png

图 3辐射定标参数

image_DN为传感器记录的原始DN值;dark_DN为对应像元的暗电流DN值,在采集高光谱数据时会同步记录暗电流数据,某一位置的暗电流DN值如图3(b)所示;integration_time为积分时间。图4展示了植被像元辐射定标前后的光谱曲线差异。

wKgZomY4fz-AL_NuAADJKZlgvKs321.png

图 4辐射定标

(3)几何校正

利用无人机高光谱系统获取的原始数据不包含地理坐标信息,且在飞行过程中,由于无人机的姿态(俯仰、翻滚、偏航)、高度、速度和传感器自身特性等因素,会造成高光谱原始影像中地物形状扭曲和反向。因此需要对图像进行几何校正。本研究首先通过无人机平台搭载的GPS和IMU解算出航迹坐标信息,然后利用航迹坐标信息、高精度DEM数据、时间同步文件构建模型,为高光谱影像赋予地理坐标信息并进行几何校正。第7航带几何校正前后的影像如图5。

wKgaomY4fz-ARHXrAAPOjBBKrQ0711.png

图 5几何校正

(4)大气校正

在数据采集的过程中,高光谱传感器最终测得的地面目标的总辐射亮度并不是地表真实反射率的反映,其中包含了由大气吸收,尤其是散射作用造成的辐射量误差。大气校正就是消除这些由大气影响所造成的辐射误差,反演地物真实的表面反射率的过程。本研究利用ENVI软件自带的FlAASH大气校正模块对每一条航带进行大气校正。图6展示了植被像元大气校正前后的光谱曲线差异。

wKgZomY4fz-AXJUCAADRhCU_TMY125.png

图 6大气校正

(5)图像掩膜与图像拼接

本文的研究对象是森林树种,但获取的高光谱影像中含有水体、道路等非植被地物。为消除非植被地物对分类结果的影响,本研究首先计算影像的NDVI值,通过设置合适的阈值(如NDVI≥0.5),创建NDVI掩膜;然后将NDVI掩膜应用于高光谱影像中;最后得到只含有植被的高光谱影像图。最后本研究利用ENVI软件中自带的镶嵌模块,对各个航带进行拼接。最终得到的高光谱影像图如图7所示。各树种的光谱曲线差异如图8所示。

wKgaomY4f0CAUHrxAAL6awyuu8o203.png

图 7铁岗水库研究区高光谱影像图

wKgZomY4f0CAN9_6AAFNyRfqWfY444.png

图 8铁岗水库数据集的树种光谱曲线

三、小结

针对铁岗水库数据集,本文提出了一种异常值去除算法,与其他经典去噪算法相比,本文提出的方法效果最好。为避免非植被地物对分类结果的影响,本文分别创建CHM掩膜和NDVI掩膜对TEF数据集和铁岗水库数据集进行处理,得到只包含植被的高光谱影像图。

四、基于改进 Mask R-CNN 的单木分割

4.1 实验过程与结果

4.1.1 数据集标注与划分

本研究将正射影像图作为神经网络的输入。数据集标注的流程如图9所示,由于图像中除树木外,还包含草地、裸地等非树种地物,它们会对数据的标注和模型的训练造成干扰,如图10(a)中红框部分,其实际为草地,但在进行标注过程中,容易将其判别为树木。

wKgaomY4f0GAWq4vAAHR8VALC0o431.png

图 9数据集标注流程图

wKgZomY4f0OAVHScAAXzzviFpHU386.png

图 10数据集标注

为解决这一问题,本文利用CHM数据生成高度掩膜(CHM≥5),去除草地、裸地等地物,掩膜后的结果如图10(b)所示,可以看到图像中只保留了树木。然后在图像中随机选择大小为512×512的子图像制作数据集,其中选择100张子图像作为训练集,20张子图像作为测试集。最后利用图像标注工具对子图像进行实例标注。然而,由于本研究使用的数据是具有地理坐标信息的RGB图像(TIF格式),标注工具并不支持这种格式的读取。因此在数据集制作的过程中,本文不仅保存了TIF格的图像,还保存了对应的PNG格式的图像。利用标注工具对PNG格式的图像进行实例标注,之后将获得的标注结果与TIF图像进行融合,完成数据集的标注。某一图像的标注结果如图10(c)所示。

4.1.2实验结果

本文在特征提取部分选择ResNet50作为主干网络,并利用MaskR-CNN在大规模数据集上预先训练好的模型权重进行训练。本文从输入数据的类型和是否在网络中加入注意力机制两个方面出发,设计了六种不同的分割方案。在网络中加入注意力机制时,有三种方案,分别针对输入数据为RGB、CHM以及RGB+CHM的情况。同样地,当网络中不包含注意力机制时,也有三种方案。六种方案获得的分割结果如表2所示,

表 2不同设计方案下获得的单木分割结果

wKgaomY4f0SASvIJAACIj8ZlXD4821.png

可以看出,当输入数据为RGB且在网络中加入SimAM注意力机制时,获得的分割性能最好,AP值达到41.5%,其中IoU阈值为0.5时(即AP50),精度最高,有74.5%。除了输入数据为CHM的情况外,其他所有模型对中目标的分割能力最好,APM值高于APS值和APL值,如模型RGB+SimAM的APM值为47.6%,高于APS值(32.4%)和APL值(33.6%)10多个百分点。当在网络中加入SimAM注意力机制时,分割性能均得到提升。其中,当输入数据为RGB且网络中不加入注意力机制时,获得的AP50值为72.3%,加入注意力机制后,AP50值提高到74.5%,增加了2.2个百分点。这证明了SimAM注意力机制的有效性。模型获得的分割效果如图11所示,

wKgaomY4f0SAX80WAAt7f4wtdTE672.png

wKgZomY4f0WADy88AAbvIMZ2zvo970.png

图 11单木分割结果

可以看出,网络能够准确地识别并分割出图像中的树木,但也存在一定的问题,比如欠分割的情况。如图11(c)所示的预测掩膜图,红框部分应为多棵树,但模型将其分割为同一棵树。此外,模型对图像边缘部分的分割效果不太良好,如图11(c)中的蓝框部分,其不是一棵完整的树,模型将其分割为一棵树。

续~~

推荐

便携式高光谱成像系统iSpecHyper-VS1000

专门用于公安刑侦、物证鉴定、医学医疗、精准农业、矿物地质勘探等领域的最新产品,主要优势具有体积小、帧率高、高光谱分辨率高、高像质等性价比特点采用了透射光栅内推扫原理高光谱成像,系统集成高性能数据采集与分析处理系统,高速USB3.0接口传输,全靶面高成像质量光学设计,物镜接口为标准C-Mount,可根据用户需求更换物镜。

wKgaomY4f0WAbQYeAAG-q9GWvYo534.png

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2545

    文章

    50406

    浏览量

    750741
  • 成像系统
    +关注

    关注

    2

    文章

    191

    浏览量

    13897
  • 无人机
    +关注

    关注

    226

    文章

    10289

    浏览量

    178967
  • 高光谱
    +关注

    关注

    0

    文章

    325

    浏览量

    9888
  • 深度学习
    +关注

    关注

    73

    文章

    5457

    浏览量

    120863
收藏 人收藏

    评论

    相关推荐

    无人机搭载光谱成像系统

    无人机搭载光谱成像系统是一种先进的遥感技术,结合了无人机(UAV)的便携性和灵活性以及光谱成像的精确性和详细性。这种
    的头像 发表于 08-09 12:00 1508次阅读
    无人机搭载<b class='flag-5'>高</b><b class='flag-5'>光谱成像</b><b class='flag-5'>系统</b>

    光谱成像光谱仪镜头的分类与选择

    镜头是光谱成像光谱仪的关键设备,它的质量(指标)优劣直接影响光谱成像光谱仪的整机指标,因此,
    发表于 07-03 09:40 1536次阅读

    光谱成像仪是如何成像的应用场景都有哪些

    光谱成像仪由于得到的光谱图像具有近连续的光谱曲线,能够提取物体的空间信息,比多光谱数据更为丰
    发表于 11-09 10:58 1632次阅读

    光谱成像系统的工作方式是什么

    采用集成度的机械设计和校正光学设计,光谱成像系统实现了对图像的无像差成像
    发表于 11-30 11:21 573次阅读

    什么是光谱成像技术?

    ,例如:我们可以把400nm-1000nm分为300个通道。因此,通过高光谱设备获取到的是一个数据立方,不仅有图像的信息,并且在光谱维度上进行展开,结果不仅可以获得图像上每个点的光谱数据,还可以获得任一个谱段的
    发表于 12-21 15:34 2650次阅读

    无人机载光谱成像设备的研究及应用进展

    无人机载光谱成像设备因其机动灵活、操作简单等优点,被应用于诸多研究领域,具有广泛的发展前景。本文对当前无人机载
    的头像 发表于 05-05 10:19 6086次阅读
    无人<b class='flag-5'>机载</b><b class='flag-5'>高</b><b class='flag-5'>光谱成像</b>设备的<b class='flag-5'>研究</b>及应用进展

    光谱成像技术有哪些显著的优势?

    光谱成像技术是基于非常多窄波段的影像数据技术,它将成像技术与光谱技术相结合,探测目标的二维几何空间及一维
    的头像 发表于 07-28 10:23 4308次阅读
    <b class='flag-5'>高</b><b class='flag-5'>光谱成像</b>技术有哪些显著的优势?

    光谱成像技术的分类

    光谱成像技术起源于上世纪八十年代,其前身是多光谱遥感成像技术。由于光谱成像具有良好的信息获取能力,光谱成像技术得到了飞速的发展,目前已经发展
    的头像 发表于 04-18 07:09 839次阅读
    <b class='flag-5'>光谱成像</b>技术的<b class='flag-5'>分类</b>

    什么是光谱成像技术?光谱成像技术的原理与应用

    光谱信息,为每个像素提供一个连续的光谱响应曲线。这种技术能够提供远超过人眼识别能力的光谱和空间信息,使我们能够从不同的角度和深度分析目标物体。 二、
    的头像 发表于 08-18 16:03 4396次阅读
    什么是<b class='flag-5'>高</b><b class='flag-5'>光谱成像</b>技术?<b class='flag-5'>高</b><b class='flag-5'>光谱成像</b>技术的原理与应用

    避免光谱成像数据中的光谱混叠问题

    光谱成像技术在农业、环境监测、医学诊断等领域具有广泛的应用前景。然而,光谱混叠是光谱成像数据分析中常见的问题之一,它会影响数据的解释和应
    的头像 发表于 02-27 15:27 709次阅读

    光谱成像技术原理及其优势

    光谱成像技术是一种将成像技术与光谱技术结合的影像数据技术。通过高光谱技术可以获取探测目标的
    的头像 发表于 03-27 06:34 747次阅读
    <b class='flag-5'>高</b><b class='flag-5'>光谱成像</b>技术原理及其优势

    光谱成像技术:从原理到应用的全面指南

    光谱成像技术是当今科学与工程领域中备受瞩目的一项创新。它不仅融合了光谱学和成像技术,而且在各个行业和研究领域都有着广泛的应用。本文将深入探
    的头像 发表于 04-15 17:36 1734次阅读
    <b class='flag-5'>高</b><b class='flag-5'>光谱成像</b>技术:从原理到应用的全面指南

    光谱成像系统解析

    光谱成像技术,一种在多个行业中愈发重要的先进技术,提供了一种深入了解物体表面特性的全新方式。本文将详细探讨光谱成像系统的工作原理、应用及
    的头像 发表于 04-16 14:59 591次阅读
    <b class='flag-5'>高</b><b class='flag-5'>光谱成像</b><b class='flag-5'>系统</b>解析

    光谱成像仪的数据怎么看

    光谱成像(Hyperspectral Imaging, HSI)是一种先进的成像技术,它结合了成像技术和光谱技术,能够获取物体在不同波段下
    的头像 发表于 05-17 10:02 420次阅读
    <b class='flag-5'>高</b><b class='flag-5'>光谱成像</b>仪的数据怎么看

    无人机机载光谱成像系统的应用及优势

      随着无人机技术的快速发展,基于无人机平台的光谱成像系统在多个领域中得到了广泛应用。本文将介绍一款小型多旋翼无人机机载
    的头像 发表于 08-15 15:03 483次阅读
    无人机<b class='flag-5'>机载</b><b class='flag-5'>高</b><b class='flag-5'>光谱成像</b><b class='flag-5'>系统</b>的应用及优势