0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

太牛了!这家公司创造了“模拟人眼、基于事件的视觉传感器”,获创新工场、小米、韦豪创芯投资

花茶晶晶 来源:电子发烧友网 作者:黄晶晶 2021-07-12 14:33 次阅读

电子发烧友网报道(文/黄晶晶)日前,世界领先的神经拟态视觉解决方案企业普诺飞思(Prophesee)宣布C轮融资,由创新工场领投、小米及上海韦豪创芯跟投,数家老股东加码。在最近的一次媒体交流会上,普诺飞思联合创始人兼CEO 卢卡·维雷(Luca Verre)、普诺飞思大中华区商务发展主管Johney Lu、普诺飞思高级现场应用工程师Cyrus Lo、创新工场合伙人方益民以及创新工场投资总监王震翔与包括电子发烧友网在内的媒体进行了充分交流。

硅基视网膜,或称基于事件的视觉传感器

Luca解析,这个产品的原本模型来自于模拟人的眼睛,眼睛事先预处理信息,只留下对大脑决策有用的信息,通过视神经传导到大脑。

传统的图像传感器以一帧一帧的图像,只对场景中的变化产生反应,这些场景中的变化一般和场景中的物体运动有关。

普诺飞思设计的硅基视网膜或称基于事件的视觉传感器,类似于人眼视没钱系统的运作原理,它是持续的以事件为基础,具有异步特性,在生态视觉系统当中,始终没有一个固定的类似于传统图像传感器的取样频率。



这种新的视觉系统能带来三个比较大的好处:

1、减少冗余数据,就是需要处理的数据量会变少。
2、能够加速识别检测的速度。
3、能够增加动态范围,能够适应极端的光照条件。

具体来说,基于事件的视觉传感器不像传统的图像传感器那样,生成一张一张的图像,而只会对场景中物体的运动变化产生反应,即背景没有任何变化,传感器不会对静态的背景信息反复地取样。

因此在处理时间和速度上,基于事件的视觉传感器的处理流程更高效,系统处理速度更快。

目前,普诺飞思从第一代的QVGA到HD高清视觉传感器形成了一系列的产品,最近与合作伙伴索尼共同开发出了一款市面上尺寸最小的视觉传感器。小尺寸传感器成本更低,更易于集成,例如应用于智能手机、笔记本电脑机器人等消费类电子产品

软件工具与基于事件的视觉传感器相配合

普诺飞思设计基于事件的视觉传感器的同时也推出了相关的软件产品与服务。Luca表示,因为我们的视觉传感器为客户带来了新的前所未有的数据类型,因此我们需要为客户提供分析工具和软件,来使用这些全新的数据,帮助他们建立全面的应用。

普诺飞思推出了独有的MetaVision智能套件,它是一个非常全面、综合性很高的软件开发工具。可提供95种计算机视觉或者AI算法、67种代码示例、11个即用型应用程序,这些都在SDK当中供客户使用。MetaVision智能套件包括六个主要的模块,即机器学习、3D计算机视觉,还有分析等等不同的模块。

普诺飞思现在还提供完整的机器学习工具包,内含最大的高清公共数据集、模拟工具、以及可监测对象活动的不同模型。此外,还包括机器学习的相关内容,此外MetaVision还为业界提供基于事件的开源工具,开发者可以通过普诺飞思的技术探索发现全新的可能性,并实现进一步的发明创造。

典型应用场景

基于神经拟态视觉系统的座舱监控技术

普诺飞思与Xperi合作推出的全球首个基于神经拟态视觉系统的座舱监控技术,Xperi是一家美国企业,致力于研究包括驾驶监控在内的多种前沿技术。


普诺飞思推出的驾驶监控技术可通过对驾驶员眼睛、表情的监测,以及计数驾驶员的眨眼频率,从而对他目光注视的情况进行监测。普诺飞思的独特技术能够为驾驶监控提供高速的视觉处理功能,此外,还能够应对非常严苛的光线的环境。

它的特点是速度快,可以高速追踪眼球以及目光,追踪眨眼的行为,因为当人在疲劳的时候,眨眼频率和速度都会大大提高。传统视觉只能推测到眨眼的动作,但不能测算眨眼的速度。此外,它具有极高的动态范围,在面对阳光时,如果拉下遮光板,这个区域会比周边暗,传统视觉传感器的处理要么看不到眼睛,要么在脸部其他部位过曝,而普诺飞思的传感器可以同时检测亮处与暗处的信息。还有,能够透过太阳眼镜看眼睛,太阳眼镜的反光不会对检测造成影响。

基于事件的高级驾驶辅助系统

在这个系统当中,车上安装了三个基于事件的传感器,以及一个激光柱,激光柱进行扫描,Prophesee的传感器会追踪激光柱的灯光,然后对扫描的内容进行3D建模,从而分析前端路况。



在激光扫描的时候会经常碰一个问题,即点不够多,且循环比较慢。普诺飞思补足了激光的这个短板。利用激光的精确度优势以及传感器的速度,可以直接造出一个非常精准高速的3D Point Cloud,令自动驾驶平台效果大幅提升,实现更安全的驾驶。

医疗案例

普诺飞思和Cambridge Consultants共同开发了通过细胞实时无菌检测方式实现的下一代细胞疗法。

可以在利用细胞作为介质生产的产品中寻找细菌和杂质,比如做胰岛素。用传统的方法需要几天的时间才能够完成这样的生物学检测,但是用基于Prophesee的传感器技术的设备,可以在几微秒时间内完成检测。


另一个医疗应用案例是Prophesee和GenSight共同开发的,让失明患者借助光遗传疗法恢复了部分视力。“硅视网膜(silicon retinas)”,能够将信号发送给大脑进行处理,该技术可专门针对于一些晚期的视网膜色素变性的病例。GenSight所生产的护目镜当中运用了普诺飞思的技术,可以通过失明人士视网膜中所植入的投光器对视觉系统进行光刺激,进而让其恢复一部分的视觉功能。


用于智能手机,改善拍照质量

传统上基于帧的技术,拍照的时候会产生运动模糊的现象。例如在拍摄宠物奔跑照片时,如果灯光条件不是特别好,曝光时间一般会比较长,拍摄结果就会较为模糊。



原因是传统RGB以图像为基础的技术主要是为了捕捉静态的图像而设计的,而普诺飞思的基于事件的技术,就是为了捕捉动态信息而设计的。

如果将这两个技术,静态的以帧为基础的技术和以事件为基础的技术相结合,左边是单纯的基于帧的技术所拍摄出来的画面,右边是结合了基于事件的技术的结果。将基于帧和基于事件的技术相结合,能够产生更好的照片效果。

有些视频有很多非常模糊的场景,因为光线不是非常好,加上画面当中的人也是在移动的,所以人像是模糊的,画面中楼房侧面的样子也是模糊的。而通过基于事件的技术可以修正运动产生的模糊。视频中的人像非常地清晰,建筑物也能够看清非常多的细节。

此外对于机器防抖,一般会借助于IMU,或者物理光学防抖。但这种解决方案主要用于自身防抖。但当被拍物体由于移动速度过而快造成的模糊时,就需要依靠以事件为基础的技术来解决。

硬件方案筑行业壁垒,获得融资后Prophesee重点扩大中国市场规模

即便任何一家手机厂商或者自动驾驶公司拿到了这颗芯片,但处理数据流也是难题,因为一些厂商的算法工程师通常处理基于帧的数据,换句话说,Prophesee的技术解决方案涵盖底层、算法、应用软件,建立了深厚的行业壁垒。创新工场表示,这也是他们看好Prophesee并投资的重要原因。此次创新工场、小米、豪威等机构的投资,正是为了加速普诺飞思技术的迭代,针对广大的中国下游客户市场,让这项黑科技快速大规模商业化落地。

为了加快普诺飞思在中国市场的落地,公司已经把中国总部设在上海,Luca表示,目前我们的重点是对中国市场进行大规模的投入,在中国扩充我们的团队,推广我们的技术和应用。我们最终的目标是将普诺飞思打造成一个全球性的公司。那就要在全球最大的市场取得成功,也就是在中国取得成功。

四年来,Prophesee与索尼进行了合作,普诺飞思主要在IP方面发挥自身的优势——基于事件的视觉技术;索尼主要发挥它在先进制造工艺方面的优势。Prophesee的视觉传感器被称为下一代的CIS,韦豪创芯正是看中这一前景也对Prophesee进行了投资。

本文由电子发烧友原创,作者黄晶晶,微信号kittyhjj,转载请注明以上来源。如需入群交流,请添加微信elecfans999,投稿发邮件到huangjingjing@elecfans.com。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47207

    浏览量

    238280
  • 视觉传感器
    +关注

    关注

    3

    文章

    249

    浏览量

    22872
  • 普诺飞思
    +关注

    关注

    0

    文章

    9

    浏览量

    3292
收藏 人收藏

    评论

    相关推荐

    北京睿胜科技有限公司荣获2024年度产品质量可靠性创新“最佳实践”典型案例

    近日,在京津沪渝四地市场监管部门联合召开的产品质量可靠性创新大会上,北京睿胜科技有限公司(以下简称“
    的头像 发表于 12-11 14:56 263次阅读
    北京<b class='flag-5'>芯</b><b class='flag-5'>创</b>睿胜科技有限<b class='flag-5'>公司</b>荣获2024年度产品质量可靠性<b class='flag-5'>创新</b>“最佳实践”典型案例

    威集团发布三款全新3.45微米像素GS图像传感器

    威集团,作为全球领先的半导体解决方案开发商,近日宣布推出三款全新的背照式(BSI)全局快门(GS)图像传感器。这些图像传感器专为机器视觉应用而设计,涵盖工业自动化、机器人技术、物流条
    的头像 发表于 10-17 16:49 533次阅读

    朴科技近亿元A++轮融资,加速射频前端芯片创新

    射频前端芯片研发领域的佼佼者朴科技近日宣布完成近亿元人民币的A++轮融资,此轮融资由东方合肥红砖东方基金、鑫元基金及诺铁资产等知名投资机构联合注资。此前,朴科技已获北极光、华
    的头像 发表于 09-26 15:04 390次阅读

    光电传感器/红外传感器

    刚入职一家做传感器公司,老板让我自己学习成为一名研发人员,试用期三个月,让我开发出一款红外传感器。基本上什么资料都没有,让我自己去网上找,之前产品的原理图也没有,现在感觉两
    发表于 05-30 17:58

    威集团发布900万像素CMOS全局快门传感器OG09A10

    威集团近日发布其最新力作——OG09A10,这是一款专为机器视觉应用量身打造的CMOS全局快门(GS)传感器。这款传感器采用1英寸光学格
    的头像 发表于 05-29 14:35 848次阅读

    公司亮相2024年深圳国际传感器与应用技术展览会

    4月14-16日,智公司携“安全、主控、通信、传感、射频识别、存储、人工智能、模拟”8大类芯片亮相第二届深圳国际传感器与应用技术展览会。
    的头像 发表于 04-18 10:26 472次阅读

    耗资6600万美元!索尼在泰国开设汽车图像传感器新工

    索尼集团宣布,其位于泰国的一家新半导体工厂已开始运营,以提高汽车图像传感器的产量,随着驾驶辅助系统的普及,汽车图像传感器的需求量很大。 该公司投资约100亿日元(6600万美元)在泰国
    的头像 发表于 03-30 08:42 251次阅读

    威推出全球首款采用TheiaCel™技术的智能手机图像传感器

    威集团,全球排名前列的先进数字成像、模拟、触屏和显示技术等半导体解决方案开发商,当日发布OV50K40,全球首款采用TheiaCel™技术的智能手机图像传感器,单次曝光可实现接近人
    的头像 发表于 03-21 09:11 610次阅读

    长光辰闯关科板IPO

    上海证券交易所(上交所)近日公布长春长光辰微电子股份有限公司(以下简称“长光辰”)科板IPO首轮审核问询的回复,标志着
    的头像 发表于 02-28 14:59 798次阅读

    深耕智能MEMS传感器市场,智传感完成近亿元B轮融资

      近日,京津冀国家技术创新中心培育的高科技企业智传感完成近亿元 B 轮融资,本轮融资由广发信德、皓海资本以及老股东必科技共同投资。  
    的头像 发表于 02-25 11:32 490次阅读

    威集团发布全新130万像素OX01J图像传感器

    在全球半导体解决方案领域中占据领先地位的威集团,近日发布全新的130万像素OX01J图像传感器,专为汽车360度环视系统(SVS)和后视摄像头(RVC)设计。这款传感器不仅具备一流
    的头像 发表于 01-12 18:14 1427次阅读

    视觉传感器的应用有哪些?

    视觉传感器视觉检测系统提供基于图像的自动化检测,方便进行各种工业和制造应用。虽然2D和3D视觉传感器不是一项新技术,但现在通常用于自动检测
    的头像 发表于 01-09 08:36 984次阅读

    视觉传感器的定义、结构和原理、作用及应用

    视觉传感器是一种常见的传感器,它可以将光学信号转化为数字信号,用于实现图像采集、处理和分析等功能。在当今智能化的时代,视觉传感器在各个领域都
    的头像 发表于 01-04 08:44 4640次阅读
    <b class='flag-5'>视觉</b><b class='flag-5'>传感器</b>的定义、结构和原理、作用及应用

    机器人会用到哪些传感器

    、测量距离和方向等。以下是机器人常用的一些传感器。 1. 视觉传感器视觉传感器是机器人最常用的传感器
    的头像 发表于 01-03 15:59 2693次阅读

    传感器公司排队IPO,持续经营能力证监会重点关注

    、利尔达、禾赛科技、恩汽电、中集成、航天南湖等。此外,还有多家传感器企业正在排队等待IPO审核,如长光辰、正扬科技、奥拉股份、明皜传感
    的头像 发表于 12-25 17:28 487次阅读
    <b class='flag-5'>传感器</b><b class='flag-5'>公司</b>排队IPO,持续经营能力<b class='flag-5'>获</b>证监会重点关注