传感新品
【华中科大/香港理工:研发计算事件驱动的视觉传感器】
基于神经形态事件的图像传感器只捕捉场景中的动态运动,然后转移到计算单元进行运动识别。然而,这种方法会导致时间延迟,而且可能非常耗电。为此,华中科技大学何毓辉教授和香港理工大学柴扬教授联合报告了计算事件驱动的视觉传感器,捕获和直接转换动态运动为可编程,稀疏和信息尖峰信号。这些传感器可以用来形成一个用于运动识别的尖峰神经网络。每个单独的视觉传感器由两个极性相反的平行光电二极管组成,其时间分辨率为5 μs。为了响应光强度的变化,传感器通过电编程其各自的光响应率,产生具有不同振幅和极性的尖峰信号。视觉传感器的非挥发性光响应性和多级光响应性可以模拟突触权重,并可用于创建一个传感器内的尖峰神经网络。本研究中的视觉传感器方法消除了传感过程中的冗余数据,以及传感器和计算单元之间的数据传输的需要。
【事件驱动的峰值生成】
传统基于帧的图像传感器以固定帧率传输绝对的光强度会产生大量冗余的视觉数据,而信息有限。受生物视网膜的启发,事件驱动的视觉传感器只对场景中的相关变化做出反应。这些传感器只在事件发生时和发生时提供峰值,减少冗余数据的量,同时保留稀疏但重要的信息(图1a)。本研究报道了一个事件驱动的像素单元,它可以在变化的光强度下产生具有可编程振幅的稀疏脉冲序列,这允许在像素阵列内进行可视化数据计算(图1b)。通过设计一个像素单元(图1c),当光强度变化时产生峰值信号,表现出事件驱动的特征。该单元格由两个平行连接的独立分支组成。这两个分支中的光电二极管分别具有相反和对称的构型(PN和NP)。无电容器的PN分支光响应比有电容器的分支光响应要快。因此,在瞬态光强增加的时刻,在该单位中产生一个正尖峰信号。相反,当光强度降低时,会产生负尖峰信号(图1d)。与现有的摄像机相比,该设计显示出更简单的电路结构。
图1 事件驱动的传感器内尖峰神经网络
【非易失性和可编程的WSe2光电二极管】
通过设计一种具有浮动分栅结构的WSe2光电二极管,以降低后续传感器内计算功耗。为了提高功率效率和可扩展性,设计了非易失性可编程光电二极管,即使在去除栅极电压后也可以局部存储光电二极管中的突触权值。图2a i、ii分别显示WSe2光电二极管结构的横截面结构示意图和顶视图光学显微镜图像。通过设置两个相同值的局部栅极电压VG1和VG2,可以测试WSe2场效应晶体管的特性(图2b)。通过进一步将两个分离的门配置为不同极性,WSe2通道左右部分的载流子类型和密度被独立调制,表现出四种不同的传导机制(图2c)。在正栅电压和负栅电压下,该器件表现出几乎对称的行为(NN或PP)。在不同入射激光功率强度(Pin),激光激发波长λ = 520 nm下,PN和NP二极管表现出明显的光电流(图2d)。图2e显了ISC作为入射光强度(Pin)的函数。在PN和NP结中,ISC几乎是线性依赖于Pin的,表明光电效应在光电二极管的光电流产生中占主导地位。为了模拟神经网络中的突触功能,需要用多级和非挥发性状态来调节光响应性来表示突触的权重。通过耦合两个电压偏差相反的栅极,光电二极管的光响应率R能以类似的方式进行调制(图2f)。
图2 WSe2光电二极管的非挥发性和可编程光响应性
【基于WSe2光电二极管的可编程事件驱动像素】
图3a显示表征光脉冲下光电二极管光响应的测量装置。在一系列光强为50 mW cm−2、波长为520 nm的光脉冲下,由于该电路中产生的光电流,电阻RL(Vout)上的电压下降发生相应变化(图3b)。当施加光脉冲时,上升时间从20 μs变化到100 μs,电容范围为0到300nF(图3c)。通过将光电二极管编程为NP结构,该器件在同一瞬态光脉冲下表现出相反的光响应和可调谐的响应时间(图3d)。与传统基于固定光响应性的化学掺杂硅光电二极管的事件驱动相机不同,本研究设计的浮动分栅配置的WSe2光电二极管能够非挥发性地调制WSe2通道中的载流子类型和密度,从而实现可编程光响应性(图3e)。在相同的光变化条件下,随着光电二极管光响应率增加,输出峰值振幅A单调增加(图3f)。图3g为波长为520 nm的外部光激发下实时变化的Itotal,表现出事件驱动特性。通过重新相反配置两个分支(图3h),生成的尖峰极性被反转。当外部光强度增加(减小)时,输出电流为一个负(正)峰值(图3i、j),表明负突触权重的实现。
图3 基于WSe2光电二极管单元中的可调事件驱动特性
【传感器内峰值神经网络】
为了执行实现运动识别的计算任务,可以将光电二极管阵列设计成交叉杆配置,形成一个尖峰神经网络(图4a)。当手在移动时,由于光强变化,在128×128光电二极管阵列中产生一系列的输出尖峰(图4b)。经过100个训练后,传感器内SNN显示出92%的识别准确率。然后用亚像素阵列的光响应率来表示突触的权重(图4c)。图4d显示当三种类型的运动按顺序执行时,每个神经元的输出峰值情况。每个输出神经元只有对特定运动类型的响应(图4d),表明在设计的传感器内SNN中成功实现运动识别任务。
图4 用于运动识别的传感器内置SNN
综上所述,本研究报道了一种计算事件驱动的视觉传感器,它只在光强度变化时产生可调谐的电流峰值,其时间分辨率为5 μs。WSe2光电二极管表现出非挥发性、可编程性和线性光强依赖的光响应性,使神经网络中模拟突触权重成为可能。通过进一步合并输出神经元可以构建一个传感器SNN,其运动识别准确率为92%的传感器内SNN。在事件驱动的感觉终端内部的直接运动识别有可能被用于开发实时边缘计算视觉芯片。
传感动态
【曝苹果将自研影像传感器 与华为自研CMOS不谋而合?】
近日,据知名苹果爆料人士古尔曼透露,苹果公司正考虑自研影像传感器,它不仅将成为iPhone系列手机最关键的卖点之一,同时也将成为混合现实和自动驾驶汽车行业未来发展的核心。
古尔曼表示,苹果公司一直在致力于自主研发关键组件,以增强其在全球智能手机市场的竞争力。而影像传感器作为智能手机的核心组件之一,对于拍照效果和用户体验至关重要。因此,苹果公司决定自研影像传感器,以进一步提升iPhone手机的性能和用户体验。
值得一提的是,此前有消息称华为也在自研CMOS图像传感器,涉及从晶圆到芯片全流程,而且在部分工艺上有所创新,可以与主流的背照式工艺(BSI)兼容。此外,数码博主爆料称华为P70系列的国产化率将进一步提升,同时索尼暂未与华为续约,库存似乎已空,很久没有拿高端的CMOS。这表明华为P70很有可能会采用自研的CMOS。
苹果和华为自研影像传感器这种自主研发的关键组件,将有助于提高企业的核心竞争力,有利于企业在关键技术上掌握更多话语权。
总之,对智能手机行业和消费者来说,两大巨头自研影像传感器都是一个积极的信号。这将推动行业技术的创新和发展,同时也意味着消费者将能够获得更好的产品和服务。
关于中国科学院长春光机所
中国科学院长春光学精密机械与物理研究所(简称“长春光机所”)始建于1952年,由长春光机所与长春物理所于1999年整合而成,是新中国在光学领域建立的第一个研究所,主要从事发光学、应用光学、光学工程、精密机械与仪器的研发生产。
建所70年来,长春光机所在以王大珩院士、徐叙瑢院士等为代表的一批科学家的带领下,研制出中国第一台红宝石激光器、第一台大型电影经纬仪等多种先进仪器设备,创造了十几项“中国第一”。现有18个研究部室,其中国家重点实验室/工程中心6个、中科院重点实验室2个;在职职工2500余人,其中国家级各类领军人才15人,国务院政府特殊津贴获得者37人;设有硕士点9个、博士点7个、博士后流动站3个,在学研究生千余人。
【英伟达联手 SK 海力士,尝试将 HBM 内存 3D 堆叠到 GPU 核心上】
11 月 20 日消息,据 Joongang.co.kr 报道,SK 海力士已经开始招聘逻辑半导体(如 CPU 和 GPU)设计人员,希望将 HBM4 通过 3D 堆叠的方式直接集成在芯片上。
据报道,SK 海力士正在与几家半导体公司讨论其 HBM4 集成设计方法,包括 Nvidia。
外媒认为,Nvidia 和 SK 海力士很可能会共同设计这种集成芯片,并借助台积电进行代工,然后通过台积电的晶圆键合技术将 SK 海力士的 HBM4 芯片堆叠到逻辑芯片上。而为了实现内存芯片和逻辑芯片的一体协同,联合设计是不可避免的。
如果 SK 海力士能够成功,这可能会在很大程度上改变行业的运作方式,因为这不仅会改变逻辑和存储新芯片的互连方式,还会改变它们的制造方式。
现阶段,HBM 堆叠主要是放置在 CPU 或 GPU 旁边的中介层上,并使用 1024bit 接口连接到逻辑芯片。SK 海力士的目标是将 HBM4 直接堆叠在逻辑芯片上,完全消除中介层。
在某种程度上来讲,这种方法有些类似于 AMD 的 3D V-Cache 堆叠,它就是直接将 L3 SRAM 缓存封装在 CPU 芯片上,而如果是 HBM 的话则可以实现更高的容量且更便宜。
目前困扰业界的主要因素之一在于 HBM4 需要采用 2048bit 接口,因此 HBM4 的中介层非常复杂且成本高昂。因此,如果能够将内存和逻辑芯片堆叠到一起,这对于经济效益来说是可行的,但这同时又提出了另一个问题:散热。
现代逻辑芯片,如 Nvidia H100,由于配备了巨大的 HBM3 内存,在带来巨大 VRAM 带宽的同时也产生了数百瓦的热能。因此,要想为逻辑和内存封装集合体进行散热可能需要非常复杂的方法,甚至要考虑液冷和 / 或浸没式散热。
韩国科学技术院电气与电子工程系的教授 Kim Jung-ho 表示,“如果散热问题在两到三代之后解决,那么 HBM 和 GPU 将能够像一体一样运作,而无需中介层” 。
一位业内人士告诉 Joongang,“在未来 10 年内,半导体的 ' 游戏规则 ' 可能会发生变化,存储器和逻辑半导体之间的区别可能变得微不足道”。
【森威电子更名“深达威”启动IPO辅导,年产300万台仪器仪表】
11月15日,深达威科技(广东)股份有限公司(以下简称“深达威”)在广东证监局进行辅导备案,辅导机构为广发证券股份有限公司。
官网资料显示,深达威是专业生产销售高精仪器仪表的一家企业,主要从事红外测温仪、激光测距仪、噪音计、风速计等工业仪表的研发生产。
深达威拥有近150项国内外专利,公司专业研发人员近60余人,年产约300万台各类仪器仪表,产品覆盖商光测距仪、激光测距望远境、无损检测仪、激光测距传感器、环境检测仪等系列,远销全球30多人国家和地区。
天眼查显示,深达威成立于2010年8月16日(前身为东莞市森威电子有限公司),法定代表人为何刚,注册资本5000万元。该公司大股东为东莞市深达威实业投资合伙企业(有限合伙),持股58.8853%;实际控制人为何刚,直接持股21.8%。
据传感器专家网获悉,深达威2023年8月经过股份制改革,企业名称从“东莞市森威电子有限公司”变更为“深达威科技(广东)股份有限公司”;同时,公司注册资本从从“3980.05万元人民币”增加到“5000万元人民币”。
审核编辑 黄宇
-
传感器
+关注
关注
2550文章
50954浏览量
752887 -
CMOS
+关注
关注
58文章
5706浏览量
235340 -
苹果
+关注
关注
61文章
24386浏览量
198251
发布评论请先 登录
相关推荐
评论