0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Socionext联手大阪大学合作开发新型深度学习算法

工程师兵营 来源:电子发烧友 作者:厂商供稿 2020-08-27 10:49 次阅读

SoC设计与应用技术领导厂商Socionext Inc.(以下“Socionext”,或“公司”)宣布,联合大阪大学数据能力科学研究所长原教授研究小组共同开发新型深度学习算法,该算法无需制作庞大的数据集,只需通过融合多个模型便可在极度弱光的条件下进行精准检测物体及图像识别。Socionext笹川幸宏先生和大阪大学长原教授在8月23日至28日(英国夏令时间)举办的欧洲计算机视觉国际会议(ECCV 2020)上报告了这一研究成果。

近年来尽管计算机视觉技术取得了飞速发展,但在低照度环境下车载摄像头、安防系统等获取的图像质量仍不理想,图像辨识性能较差。不断提升低照度环境下图像识别性能依旧是目前计算机视觉技术面临的主要课题之一。CVPR2018中一篇名为《Learning to See in the Dark》[1]的论文曾介绍过利用图像传感器的RAW图像数据的深度学习算法,但这种算法需要制作超过200,000张图像和150多万个批注 [2]数据集才能进行端到端学习,既费时又费钱,难以实现商业化落地(如下图1)。

图1:《Learning to See in the Dark》及RAW 图像识别课题

为解决上述课题,Socionext与大阪大学联合研究团队通过迁移学习(Transfer Learning)和知识蒸馏(Knowledge Distillation)等机器学习方法,提出采用领域自适应(Domain Adaptation)的学习方法,即利用现有数据集来提升目标域模型的性能,具体内容如下(如图2):

(1)使用现有数据集构建推理模型;

(2)通过迁移学习从上述推理模型中提取知识;

(3)利用Glue layer合并模型;

(4)通过知识蒸馏建立并生成模型。

图2:本次开发的领域适应方法(Domain Adaptation Method)

此外,结合领域自适应方法和物体检测YOLO模型[3],并利用在极端弱光条件下拍摄的RAW图像还可构建“YOLO in the Dark”检测模型。YOLO in the Dark模型可仅通过现有数据集实现对RAW图像的对象检测模型的学习。针对那些通过使用现有YOLO模型,校正图像亮度后仍无法检测到图像的(如下图a),则可以通过直接识别RAW图像确认到物体被正常检测(如下图b)。同时测试结果发现,YOLO in the Dark模型识别处理时所需的处理量约为常规模型组合(如下图c)的一半左右。

图3:《YOLO in the Dark》效果图

本次利用领域自适应法所开发的“直接识别RAW图像”可不仅应用于极端黑暗条件下的物体检测,还可应用于车载摄像头、安防系统和工业等多个领域。未来,Socionext还计划将该技术整合到公司自主研发的图像信号处理器(ISP)中开发下一代SoC,并基于此类SoC开发全新摄像系统,进一步提升公司产品性能,助力产业再升级。

欧洲计算机视觉国际会议(ECCV 2020)

日期:8月23~28日(英国夏令时间)

地点:线上会议

演讲主题:YOLO in the Dark - Domain Adaptation Method for Merging Multiple Models -

演讲人:Socionext Inc. 笹川幸宏先生

大阪大学 长原教授

链接:https://eccv2020.eu/

注释:

[1]“Learning to See in the Dark” : CVPR2018, Chen et al.

[2] MS COCO dataset as an example (https://cocodataset.org/)

[3] YOLO (You Only Look Once): One of the deep learning object detection methods

关于Socionext

Socionext Inc.是一家全球性创新型企业,其业务内容涉及片上系统(System-on-chip)的设计、研发和销售。公司专注于以消费、汽车和工业领域为核心的世界先进技术,不断推动当今多样化应用发展。Socionext集世界一流的专业知识、经验和丰富的IP产品组合,致力于为客户提供高效益的解决方案和客户体验。公司成立于2015年,总部设在日本横滨,并在日本、亚洲、美国和欧洲设有办事处,领导其产品开发和销售。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 深度学习
    +关注

    关注

    73

    文章

    5507

    浏览量

    121272
  • Socionext
    +关注

    关注

    2

    文章

    75

    浏览量

    16627
收藏 人收藏

    评论

    相关推荐

    瑞芯微电子与BlackBerry QNX合作开发汽车数字座舱平台

    近日,中国创新型AIoT芯片解决方案供应商瑞芯微电子有限公司(以下简称为瑞芯微)宣布,基于瑞芯微RK3588M旗舰级车规芯片,与BlackBerry QNX合作开发了汽车数字座舱平台。该平台应用了
    的头像 发表于 11-30 14:07 1071次阅读

    一种基于深度学习的二维拉曼光谱算法

    近日,天津大学精密仪器与光电子工程学院的光子芯片实验室提出了一种基于深度学习的二维拉曼光谱算法,成果以“Rapid and accurate bacteria identificati
    的头像 发表于 11-07 09:08 243次阅读
    一种基于<b class='flag-5'>深度</b><b class='flag-5'>学习</b>的二维拉曼光谱<b class='flag-5'>算法</b>

    丰田与NTT合作开发自动驾驶软件

    近日,丰田汽车公司与日本电报电话公司(NTT)宣布了一项重要合作——联手开发自动驾驶软件。据悉,该项目将利用人工智能技术对驾驶数据进行深度分析,以预测可能发生事故的风险,并据此构建一个
    的头像 发表于 10-30 16:11 232次阅读

    FPGA做深度学习能走多远?

    ,FPGA 也需要不断适应和改进。研究人员和开发者将致力于针对 FPGA 的特点对深度学习算法进行优化,例如探索更高效的模型压缩方法、量化技术以及硬件友好的
    发表于 09-27 20:53

    深度识别算法包括哪些内容

    深度识别算法深度学习领域的一个重要组成部分,它利用深度神经网络模型对输入数据进行高层次的理解和识别。
    的头像 发表于 09-10 15:28 402次阅读

    PyTorch深度学习开发环境搭建指南

    PyTorch作为一种流行的深度学习框架,其开发环境的搭建对于深度学习研究者和开发者来说至关重要
    的头像 发表于 07-16 18:29 1117次阅读

    深度学习算法在嵌入式平台上的部署

    随着人工智能技术的飞速发展,深度学习算法在各个领域的应用日益广泛。然而,将深度学习算法部署到资源
    的头像 发表于 07-15 10:03 1506次阅读

    深度学习算法在集成电路测试中的应用

    随着半导体技术的快速发展,集成电路(IC)的复杂性和集成度不断提高,对测试技术的要求也日益增加。深度学习算法作为一种强大的数据处理和模式识别工具,在集成电路测试领域展现出了巨大的应用潜力。本文将从
    的头像 发表于 07-15 09:48 1053次阅读

    利用Matlab函数实现深度学习算法

    在Matlab中实现深度学习算法是一个复杂但强大的过程,可以应用于各种领域,如图像识别、自然语言处理、时间序列预测等。这里,我将概述一个基本的流程,包括环境设置、数据准备、模型设计、训练过程、以及测试和评估,并提供一个基于Mat
    的头像 发表于 07-14 14:21 2305次阅读

    深度学习的基本原理与核心算法

    处理、语音识别等领域取得了革命性的突破。本文将详细阐述深度学习的原理、核心算法以及实现方式,并通过一个具体的代码实例进行说明。
    的头像 发表于 07-04 11:44 2191次阅读

    深度学习模型训练过程详解

    深度学习模型训练是一个复杂且关键的过程,它涉及大量的数据、计算资源和精心设计的算法。训练一个深度学习模型,本质上是通过优化
    的头像 发表于 07-01 16:13 1337次阅读

    丰田、日产和本田将合作开发下一代汽车的AI和芯片

    丰田、日产和本田等日本主要汽车制造商确实计划联手开发下一代汽车的软件,包括在生成式人工智能(AI)和半导体(芯片)等领域进行合作
    的头像 发表于 05-20 10:25 989次阅读

    深度解析深度学习下的语义SLAM

    随着深度学习技术的兴起,计算机视觉的许多传统领域都取得了突破性进展,例如目标的检测、识别和分类等领域。近年来,研究人员开始在视觉SLAM算法中引入深度
    发表于 04-23 17:18 1320次阅读
    <b class='flag-5'>深度</b>解析<b class='flag-5'>深度</b><b class='flag-5'>学习</b>下的语义SLAM

    三星电子已开始与Naver合作开发下一代AI芯片Mach-2

    三星电子与Naver合作开发下一代AI芯片Mach-2,这一举措标志着两家公司在人工智能领域的深度合作进一步加强。
    的头像 发表于 04-18 14:40 712次阅读

    【技术科普】主流的深度学习模型有哪些?AI开发工程师必备!

    深度学习在科学计算中获得了广泛的普及,其算法被广泛用于解决复杂问题的行业。所有深度学习算法都使用
    的头像 发表于 01-30 15:26 643次阅读
    【技术科普】主流的<b class='flag-5'>深度</b><b class='flag-5'>学习</b>模型有哪些?AI<b class='flag-5'>开发</b>工程师必备!