0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

手机厂商自研ISP正在成为主流

电子工程师 来源:半导体行业观察 作者:李飞 2021-04-22 09:20 次阅读

ISP(Image Signal Processor,图像处理器)是手机芯片系统中的重要组成部分,负责图像处理部分。随着智能手机市场的发展,我们正在看到越来越多的手机厂商在自研ISP。国外的重要手机厂商中,苹果和三星一直在使用自研的ISP芯片模组,而谷歌再其Pixel系列手机中也用上了带有众多实验特性的自研ISP;而在中国的手机厂商中,我们也在看到越来越多的公司加入自研ISP的队列。

华为作为中国手机市场技术的领头羊,其自研ISP早已落地在自己的手机系列中;此外,近些年来积极开发芯片的Oppo和Vivo也有消息正在自研ISP。最近,小米也加入了自研ISP的行列,可见无论是在国外还是国内,手机厂商自研ISP正在成为主流。

为何手机厂商要自研ISP?

手机厂商自研ISP的最根本原因还是照相系统在手机中是一个极其重要的组成部分,同时拍照质量也是决定手机消费者体验的一个极重要的参数。每年的新手机发布会上,几乎都离不开照相图像质量相关的内容,而ISP则很大程度上决定了图像质量。

具体来说,在手机的照相系统中,图像传感器(CIS)负责提供原始图像,通常是RGGB RAW图像。该原始图像和用户看到的最终图像相差甚远,而需要大量的后续处理,这些处理通常包括自动白平衡,去噪,tone mapping等等,而不同的ISP将直接决定最终图像质量。一般来说,无论是使用自研的ISP还是使用第三方提供的ISP,在使用在手机上的时候都需要经过大量的参数调整。

即根据图像传感器和主要应用场景,需要工程师去仔细调整ISP各个处理的参数甚至是算法,才能确保图像质量达到最优。显然,如果是手机厂商自研ISP,则可以更好地根据手机的目标应用场景和CIS等来实现协同设计,其最终的图像质量效果往往会好过使用第三方ISP然后再去调整ISP参数。

不同ISP参数对于图像质量影响巨大

另外,我们看到在手机应用中,拍照的应用场景正在越来越多。除了传统的拍照之外,随着直播、抖音等应用的普及,越来越多的用户正在成为这类视频应用的创作者,而这就让越来越多的用户对于图像质量有更高的需求。此外,在谷歌、苹果等公司都在力推的AR应用中,通常的使用方式都是用户使用手机的照相机去拍摄真实世界的实时图像,而AR应用则把虚拟物件渲染叠加在真实世界的图像上。例如,目前地图类应用中得到应用的AR导航就是把路线指示叠加在用户实时拍摄的真实世界图像中,从而以一种更直观的方式完成导航。随着AR应用得到更多应用,我们认为拍照也在获得更多的使用时长,因此对于ISP的功能、延迟和功耗等都提出了一定需求。为了能在越来越多的拍照应用中实现差异化,手机厂商自研ISP也是顺理成章。

最后,研发ISP芯片可以说是手机厂商自研芯片路线图中的一个重要里程碑。对于想要自研芯片的手机厂商来说,ISP是一个极好的起步点:它的重要性高,一个好的ISP能帮助手机实现更好的拍照质量从而与其他手机实现差异化;另一方面,它的开发难度相比modem等模块来说又较为简单,在可以将越来越多芯片设计环节外包的今天,我们认为手机厂商开发ISP芯片无论是投入还是风险都比较小。因此,ISP可以说是投入和风险较小,而潜在的回报又较大,因此很适合作为想要自研芯片的手机厂商的第一个芯片模组。

ISP的技术发展方向

ISP目前正在经历一个新的技术革新期,而这个技术革新的主要动力来自计算机视觉技术的新发展以及计算机视觉技术的新需求。我们将对这两个方向分别分析。

首先,计算机视觉技术在这几年革新很快:随着机器学习技术和计算机视觉技术的结合,在这几年中,我们看到了许多基于机器学习的算法正在取代传统的机器视觉技术。举例来说,基于机器学习算法的超分辨、去噪、低光照场景图像增强等都取得了远超传统机器视觉算法的效果,而在未来几年我们预计还将看到更多类似的新计算机视觉技术更新。

因此,我们认为基于机器学习的算法会越来越多地进入手机的照相系统中,而这也会影响ISP芯片模组的设计。例如,之前许多ISP算法都是固化的算法模块,不同的环节拥有不同的计算逻辑和电路;而随着基于神经网络的机器学习算法逐渐取代传统的ISP算法,我们可望看到在ISP中也会有越来越多的神经网络加速模块——这些神经网络加速模块根据具体设计可能会成为ISP中专用的模块,也可以作为手机整体AI加速器的一部分,在ISP有需求的时候来完成相应的算法加速。

另外,新的计算机视觉技术对于ISP也有新的需求。我们看到计算机视觉算法越来越多进入手机和下一代智能设备——例如VR设备中就有基于这类算法的手部追踪来完成人机交互,而这些算法算法对于图像质量的需求往往和人眼对于图像质量的需求不尽相同,例如算法需要的图像分辨率常常在400x400以下,对于许多细节的噪声等也不是很敏感;而另一方面这些基于计算机是觉得应用常常需要照相系统长时间打开(而不像传统用户主导的拍照通常只会开启很短时间)。因此,对于这些应用来说,我们更希望ISP能在满足算法对基本图像质量需求的同时,尽可能减少功耗,从而能满足智能设备散热以及电池使用时间的要求。类似的设计往往还需要结合一些图像传感器的特殊特性来设计——例如使用某些算法需要直接使用图像传感器的低帧率低分辨率模式,从而实现能效比的最优化。

因此,我们认为ISP技术将在未来几年内有较大的演进,因此现在是手机厂商开始自研ISP的一个很好时间节点。

ISP市场将如何变化?

目前ISP芯片模组供应商中,除了苹果等自研厂商之外,其余的供应商大致可以分为几类。首先是高通这类的SoC供应商在其SoC中已经包括了ISP进行打包销售,但是ISP不会单独销售。另一类是提供ISP IP授权的供应商,例如ARM和芯原等等。还有介于这两类之间的设计服务提供商,例如Socionext等,他们拥有ISP模组设计,而客户可以根据需求去对这些ISP模组进行部分定制并集成在其整体芯片方案中。

随着越来越多公司开始自研ISP,我们认为设计服务提供商可能将会从中受益。首先,对于初次自研ISP的厂商来说,从设计服务提供商的参考ISP设计出发,在这个基础上加入一些定制化的特性将会是一种不错的方式。此外,无论是否要使用设计服务提供商的参考方案,厂商自研ISP通常都需要设计服务商提供的物理设计等服务,而这都有利于设计服务提供商。

对于ISP的IP提供商以及SoC整体供应商来说,手机厂商开始自研ISP意味着自己的客户正在开始与自己竞争,如果要继续保持出货量则可能需要在性能上做到提升,同时在价格上则可能要有更多让步。对于高通这样的SoC供应商来说,小米和Oppo等自研ISP的手机厂商仍然需要使用高通的SoC来实现主要功能,因此如何利用这一点来部分抵消客户自研ISP的影响将成为重要的课题。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 手机
    +关注

    关注

    35

    文章

    6876

    浏览量

    157567
  • CIS
    CIS
    +关注

    关注

    3

    文章

    194

    浏览量

    29611
  • ISP
    ISP
    +关注

    关注

    6

    文章

    476

    浏览量

    51812
  • 小米
    +关注

    关注

    70

    文章

    14349

    浏览量

    144125
收藏 人收藏

    评论

    相关推荐

    苹果5G芯片或于明年亮相

    苹果公司正加速推进其5G芯片的研发进程,有望最快在明年推出首款5G调制解调器。这一举措对高通而言,无疑构成了巨大的挑战。
    的头像 发表于 11-12 15:24 502次阅读

    苹果加速芯片进程,iPhone SE 4将首发自5G基带

    苹果正在积极推进芯片计划,以降低对高通、博通等外部供应商的依赖。据最新报道,苹果即将推出的新款平价机型iPhone SE 4,将成为
    的头像 发表于 11-04 14:20 508次阅读

    比亚迪最快于11月实现算法量产,推进智驾芯片进程

    10月21日市场传出消息,比亚迪正计划整合其新技术院下的智能驾驶团队,目标是在今年11月实现智能驾驶算法的量产,并持续推进智能驾驶芯片的
    的头像 发表于 10-22 15:57 855次阅读

    薄膜发电为什么不能成为主流

    薄膜发电作为一种利用薄膜太阳能电池将太阳能直接转换为电能的技术,虽然具有高效、灵活和环保等优势,但在成为主流能源方面仍面临一些挑战。以下是一些主要的原因:
    的头像 发表于 10-03 16:23 420次阅读

    国产DSP,指令集内核C2000,F28335、F280049、F28377

    国产DSP,指令集内核架构,工具链,完美替代TI的 C2000系列产品,F280049、F28335、F28377 性能、主频、外设、内存,全面提高30%-80%, 基于ecl
    发表于 09-26 13:56

    小鹏智驾芯片:面向L4+AI大模型,集成40核+NPU+ISP

    电子发烧友网报道(文/梁浩斌)新能源汽车时代,车企芯片的路线,尽管目的各不相同,但已经成为新势力车企的共识。最早从比亚迪为了供应链自主化而
    的头像 发表于 09-06 00:17 6822次阅读
    小鹏<b class='flag-5'>自</b><b class='flag-5'>研</b>智驾芯片:面向L4+AI大模型,集成40核+NPU+<b class='flag-5'>ISP</b>

    天合光能:TOPCon组件成为主流,700W+大势所趋

    趋势。天合光能作为行业引领者受邀出席并发表演讲,产品经理庄凌在演讲中表示:TOPCon组件成为主流,700W+大势所趋。此外,她还同与会者分享了应用i-TOPCon技术的至尊组件的可靠性分析。
    的头像 发表于 08-02 11:46 713次阅读
    天合光能:TOPCon组件<b class='flag-5'>成为主流</b>,700W+大势所趋

    润和软件金融大模型FinLP通过华为Ascend Native技术认证

    近日,江苏润和软件股份有限公司(以下简称“润和软件”)金融大模型FinLP成功通过华为Ascend Native技术认证,成为江苏省首批通过该技术认证的厂商。这一认证标志着FinL
    的头像 发表于 07-19 14:45 592次阅读

    大厂芯片背后的赢家,不只有晶圆厂

    电子发烧友网报道(文/周凯扬)随着不少云服务厂商和互联网厂商纷纷加入到芯片的行业中来,除了具备先进工艺的晶圆代工厂外,提供设计解决方案的公司从中获得了不少利润。近期JP摩根发布了一
    的头像 发表于 05-28 00:17 2646次阅读

    理想汽车大模型Mind GPT通过国家备案

    理想汽车近日宣布,其全的多模态认知大模型Mind GPT已正式通过国家《生成式人工智能服务管理暂行办法》备案,成为汽车行业中首个成功通过该备案的
    的头像 发表于 03-29 11:05 592次阅读

    微软正在研发新型网卡,旨在提升AI芯片性能

    微软近日被曝正在秘密研发一款高性能的新型网卡,这一创新旨在增强其的Maia AI服务器芯片的功能,并可能大幅度降低对外部芯片设计厂商如英伟达的依赖。据知情人士透露,这款网卡的设计思
    的头像 发表于 02-21 11:01 743次阅读

    曝苹果Micro LED会影响到三星、LG Display的显示业务

    据媒体报道,苹果内部正在开发Micro-LED技术,分析师称“苹果Micro LED会影响到三星、LG Display的显示业务”。
    的头像 发表于 02-20 16:34 939次阅读

    全面兼容!华正式成为麒麟软件卓越生态伙伴

    的提供商,一直在积极搭建国产化软硬件解决方案,顺应国产化浪潮。在信创产业链条中,华作为以硬件为主厂商,结合以应用和服务为主的麒麟软件,上下游协同共创,加速推动产业生态构建。   同
    发表于 01-31 17:46 416次阅读
    全面兼容!<b class='flag-5'>研</b>华正式<b class='flag-5'>成为</b>麒麟软件卓越生态伙伴

    英伟达缺货?OpenAI选择芯片

     电子发烧友网报道(文/周凯扬)在生成式AI和大模型带来的AI洪流下,不少大厂都不约而同地选择了AI芯片。即便这意味着组建新的团队,花费大量的资金,但从长远发展的角度来看,芯片
    的头像 发表于 01-30 00:51 3715次阅读

    谷歌手机SoC测试订单交由京元电

    近日,谷歌在半导体委外策略上迎来了一次重大转变,其手机系统单芯片(SoC)“Tensor”首次释出测试订单给台湾的京元电。这一举动打破了以往与三星合作的统包晶圆代工与封测的模式。
    的头像 发表于 01-18 15:28 645次阅读