一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法-电子发烧友网

二维（2D）和三维（3D）双模视觉信息在自动驾驶、工业机器人、人机交互等前沿领域具有广泛的应用前景。但是2D和3D两种模式视觉信息在处理方法上存在较大的差异，使得边缘端计算型处理器难以兼顾两种模式的处理需求；同时以深度学习为代表的人工智能算法的计算密集和高数据复用率等特点进一步增加了处理器电路的设计复杂度，导致边缘端实现双模视觉信息智能处理的芯片设计面临大的挑战。

中国科学院半导体研究所刘力源研究员带领的团队在双模视觉信息智能计算芯片设计领域取得重要进展。团队创新性地设计了一款兼容处理2D/3D双模视觉信息的视觉处理器架构和用于人工智能算法的数据流。提出了一种可重构并行处理单元阵列架构，并行处理单元阵列支持向量化单指令多数据处理模式，可显著提升人工智能算法的数据复用率，减小了算法处理延时和访存功耗；设计了一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法，能够灵活映射从数据预处理到智能处理阶段的图像处理算法，消除冗余的专用图像处理电路，提升了芯片单位面积算力。测试结果表明，芯片可实现3D深度重建、2D人脸目标检测和2D目标追踪算法。图1和图2分别为芯片照片和片上算法处理结果。该工作为设备功耗与体积均受限的边缘场景多模态视觉信息智能处理提供了一个高效且灵活的智能化计算平台。

该成果由半导体所博士生魏思源等在刘力源研究员的指导下完成。成果得到了国家重点研发计划和国家自然科学基金等项目的资助。

审核编辑：刘清

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

处理器

处理器

+关注

关注
68

文章
19461

浏览量
231412
人机交互

人机交互

+关注

关注
12

文章
1217

浏览量
55590
半导体

半导体

+关注

关注
335

文章
27826

浏览量
223843
视觉处理芯片

视觉处理芯片

+关注

关注
2

文章
10

浏览量
6676

FPGA上的图像处理算法集成与优化

、Tophat形态学滤波、RAW8转RGB888、彩色图像均值滤波、Alpha背景叠加、直方图灰度拉伸算法以及自动白平衡算法。每种算法都提供

发表于 02-14 13:46 •69次阅读

FPGA上的<b class='flag-5'>图像</b><b class='flag-5'>处理算法</b>集成与优化

AN-1249：使用ADV8003评估板将3D图像转换成2D图像

电子发烧友网站提供《AN-1249：使用ADV8003评估板将3D图像转换成2D图像.pdf》资料免费下载

发表于 01-08 14:28 •0次下载

AN-1249：使用ADV8003评估板将<b class='flag-5'>3D</b><b class='flag-5'>图像</b>转换成<b class='flag-5'>2D</b><b class='flag-5'>图像</b>

RISC-V指令集概述

RISC-V就是RISC的第五代指令集架构。而RISC-V目标就是“成为一种完全开放的指令集架构，可被任何学术机构或商业组织自由使用”。 R

发表于 11-30 23:30

RISC-V的指令集位宽的几点学习心得

，实际上，RISC-V指令集的位宽具有更大的灵活性。 RISC-V指令集的位宽多样性 RISC-V是一种基于精简指令集（RISC）的开放式指令集

发表于 10-31 22:05

指令集架构与微架构的区别

指令集架构（Instruction Set Architecture，ISA）与微架构（Microarchitecture）是计算机体系结构中的两个重要概念，它们在处理器的设计和实现中

发表于 10-05 15:10 •703次阅读

简述微处理器的指令集架构

计算机硬件与软件的桥梁。指令集架构不仅决定了微处理器的性能和功能，还影响着操作系统的开发、应用程序的编写以及整个计算机生态系统的构建。以下是对微处理

发表于 10-05 14:59 •615次阅读

RISC-V和arm指令集的对比分析

和使用。 ARM ：ARM架构是一种闭源的商业指令集架构，ARM公司对其指令集架构的定义和使用有

发表于 09-28 11:05

RISC-V指令集的特点总结

各种应用场景，从嵌入式系统到高性能计算，都可以通过添加专门的指令扩展来优化性能。分层设计定义：RISC-V 架构采用了分层设计方法，基本指令集可以通过额外的扩展层来增强功能，如浮点

发表于 08-30 22:05

复杂指令集和精简指令集有什么区别

的两种主要指令集架构，它们在多个方面存在显著的差异。以下是对这两种指令集架构的详细比较，涵盖设计

发表于 08-22 11:00 •3979次阅读

微处理器的指令集架构介绍

微处理器的指令集架构（Instruction Set Architecture，ISA）是计算机体系结构中至关重要的部分，它定义了微处理器能够执行的操作和

发表于 08-22 10:53 •1655次阅读

CISC（复杂指令集）与RISC（精简指令集）的区别　　

RISC的指令集中指令数反超了CISC，因此，引用指令的复杂度而非数量来区分两种指令集。当然，CISC也是要通过操作内存、寄存器、运算器来完成复杂

发表于 07-30 17:21

3D封装热设计：挑战与机遇并存

随着半导体技术的不断发展，芯片封装技术也在持续进步。目前，2D封装和3D封装是两种主流的封装技术。这两种封装技术在散热路径和热设计方面有着各自的特点和挑战。本文将深入探讨

发表于 07-25 09:46 •1574次阅读

嵌入式系统的概念与范围开发 指令集架构要怎么选才合适？

想要搭建一套嵌入式系统，首先得确认想要采用的指令集架构（Instruction Set Architectures, ISA），各家的指令集架构

发表于 03-28 09:35 •955次阅读

有了2D NAND，为什么要升级到3D呢？

2D NAND和3D NAND都是非易失性存储技术（NVM Non-VolatileMemory），属于Memory（存储器）的一种。

发表于 03-17 15:31 •1153次阅读

基于深度学习的方法在处理3D点云进行缺陷分类应用

背景部分介绍了3D点云应用领域中公开可访问的数据集的重要性，这些数据集对于分析和比较各种模型至关重要。研究人员专门设计了各种数据集，包括用于

发表于 02-22 16:16 •1367次阅读