电子发烧友报道(文/黄晶晶)2021年3月,小米发布澎湃C1 ISP芯片,搭载于小米折叠屏MIX Fold。
2021年9月,vivo发布V1 ISP 芯片,搭载于vivo X70系列手机。
OPPO自研的ISP芯片也正在路上。据悉,将于2022年搭载在OPPO最新一代手机上亮相。
那么,手机厂商为什么都选择自研ISP芯片?ISP之后他们还会自研什么芯片呢?
为什么自研ISP芯片
小米、OV为了自研芯片高薪挖人的消息早就传遍了行业。有的应届毕业生已经开到40万元年薪。芯片是复杂、且高技术含量的研发。小米手机部ISP架构师左坤隆博士曾表示,他带领上百人研发团队,从2019年开始着手设计,各种试验重复了上千次。并最终实现了C1的量产。在最近vivo ISP芯片发布会上,vivo介绍说300人研发团队、花费24个月才终于推出这颗V1芯片。
为什么手机厂商都开始自研影像芯片呢?安谋科技高级产品经理柴卫华在接受电子发烧友网采访时表示,旗舰智能手机的SoC处理器已经趋于同质化,通用手机SoC成为了手机巨头们提升竞争力的瓶颈。为了打破这种同质化,让自家产品形成差异化,同时手机厂商对于画质有着极致追求,于是各家手机厂商都开始研发ISP芯片。
小米和vivo的ISP芯片有什么不同?
图像信号处理器技术的主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。ISP 技术在很大程度上决定了摄像机的成像质量,依赖于 ISP 才能在不同的光学条件下都能较好地还原现场细节。
澎湃C1是小米首款专业影像芯片,主要功能是3A提升,即“AF”更快且更精准度的对焦性能,大幅提升暗光、小物体及平坦区域的对焦能力;“AWB”更精准的AWB白平衡算法,复杂混合环境光源精准还原;“AE”更准确的曝光策略,更好的夜景及高动态场景表现。
vivo VI是服务高速计算成像的专业影像芯片,是一颗全定制的特殊规格集成电路芯片。位于主芯片和显示面板之间,可以搭配不同主芯片和显示屏,与主芯片ISP之间采用高速双向互联,以极低延时进行数据交互。起到扩充ISP高速成像算力,释放主芯片ISP负载的作用,同时服务用户在预览和录像的需求。
V1作为专业定制芯片在处理特定功能时具有三大特性,高性能、低延时、低功耗。比如夜景视频的拍摄,通过V1进行降噪和插帧,可以用计算量大的算法模块,即MEMC技术进行运动补偿,在V1协助下主芯片在低光录像时以低功耗运行全高清60帧的MEMC去噪和插帧,提升了夜景影像效果。并且配合主芯片的降噪功能,进行二次提亮二次降噪。
由此可以得到主芯片ISP与定制ISP V1的1+1大于2的效果。由于将软件算法转移至V1专用硬件电路中,在高速处理同等成像计算算法时,V1专用硬件电路的功耗降低50%。
可以看到,小米澎湃C1侧重对焦、白平衡、曝光等方面的优化,V1主要是智能降噪、智能插帧,V1芯片在X70 Pro上发挥三大落地价值,包括夜景、视频、游戏MEMC帧率增强。
小米、OPPO ISP IP供应商曝光,ISP IP赋能还将深化
ISP的产业链既有IP供应商包括芯原、安谋科技、翱捷科技,也有ISP芯片厂商华晶科、兴芯微等。最近翱捷科技就表示公司的ISP IP已经与OPPO、小米达成授权合作。据供应链消息,vivo也采用了第三方IP。
翱捷科技的ISP单元采用新型多pipeline架构,具有低功耗、低带宽、高并行计算能力、高度灵活性的优势。ISP单元同时集成了高动态图像视频处理能力、二维和三维图像去噪和增强能力和镜头畸变矫正等能力,使得公司ISP单元图像分辨率、颜色还原能力、图像动态范围处于业界领先水平。
翱捷科技表示,目前已与国内知名手机厂商OPPO、小米就ISP授权达成合作。通过IP授权业务,公司实现了自研IP的成果转化。同时与知名手机厂商建立了互信基础,为双方未来在智能手机基带芯片方面合作创造了良好条件。据悉,高性能ISP设计技术的IP授权业务方面,2020年1-9月营收达到5131万元。
芯原目前拥有用于集成电路设计的GPU IP、 NPU IP、 VPU IP、 DSP IP、 ISP IP五类处理器IP。根据 IPnest 报告,芯原 GPU IP(含 ISP)市场占有率排名全球前三,2019 年全球市场占有率约为 11.8%。
芯原 Vivante图像信号处理器 IP(ISP IP)技术支持图像传感器的多曝光高动态范围合成、原始图像高级三维降噪、局部色调映射、非局部均值降噪、多摄像头支持和多核内存共享等,并具备高性能低功耗镜头畸变矫正功能。
不过,芯原相关负责人对笔者表示,芯原主要用户包括安防监控、汽车辅助驾驶、智慧家庭以及AIoT等含摄像头的产品。至于有些在进行的客户则不方便透露。
去年12月,安谋科技发布了“玲珑”i3/i5 ISP处理器。它在降噪、清晰度和宽动态等指标上达到业界领先水平,具有高画质、低延时、可配置能力强、扩展兼容性高等特点,可广泛适用于安防监控、AIoT 及智能汽车等领域的视频、图像处理工作,能够满足不同场景的多样化数据处理需求。柴卫华对笔者表示,目前玲珑ISP已经有多家面向不同应用场景的客户芯片导入。
下一步会是什么芯片?手机SoC、下一代ISP……
此前,小米的左坤隆博士在接受央视采访时已经明确提到了小米自研芯片的后续规划。他说:“ISP只是起点,小米还是要回到手机心脏器件SoC的研发中。”OPPO、vivo关于手机SoC也总有着不少令外界关注的潜在动作。
手机厂商研发手机SoC已经不是新鲜事,例如华为、苹果、三星他们都有自己的芯片。如今,随着华为的淡出,小米、OV等都希望在智能手机上冲击更高的市占,小米更是打出了要三年成为全球第一的目标。那么,对手机SoC的追求和突破,会是这些厂商致胜未来的重要因素。
除了手机SoC之外,柴卫华认为手机厂商仍将持续优化手机影像的效果和体验,但从目前来看,他们借助ISP进行了局部优化,还有许多可优化的空间。因此,在首批推出ISP芯片之后,预计应该还会有进一步的ISP芯片研发计划。
如果看苹果的自研之路,手机处理器、电源芯片、GPU等无所不有,小米、OPPO、vivo等的自研芯片之路必将会予以借鉴。
如今,手机厂商已经在天时(冲击市占)、地利(国产化)、人和(吸纳人才)盘踞大量优势,ISP才只是开始。
2021年9月,vivo发布V1 ISP 芯片,搭载于vivo X70系列手机。
OPPO自研的ISP芯片也正在路上。据悉,将于2022年搭载在OPPO最新一代手机上亮相。
那么,手机厂商为什么都选择自研ISP芯片?ISP之后他们还会自研什么芯片呢?
为什么自研ISP芯片
小米、OV为了自研芯片高薪挖人的消息早就传遍了行业。有的应届毕业生已经开到40万元年薪。芯片是复杂、且高技术含量的研发。小米手机部ISP架构师左坤隆博士曾表示,他带领上百人研发团队,从2019年开始着手设计,各种试验重复了上千次。并最终实现了C1的量产。在最近vivo ISP芯片发布会上,vivo介绍说300人研发团队、花费24个月才终于推出这颗V1芯片。
为什么手机厂商都开始自研影像芯片呢?安谋科技高级产品经理柴卫华在接受电子发烧友网采访时表示,旗舰智能手机的SoC处理器已经趋于同质化,通用手机SoC成为了手机巨头们提升竞争力的瓶颈。为了打破这种同质化,让自家产品形成差异化,同时手机厂商对于画质有着极致追求,于是各家手机厂商都开始研发ISP芯片。
小米和vivo的ISP芯片有什么不同?
图像信号处理器技术的主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。ISP 技术在很大程度上决定了摄像机的成像质量,依赖于 ISP 才能在不同的光学条件下都能较好地还原现场细节。
澎湃C1是小米首款专业影像芯片,主要功能是3A提升,即“AF”更快且更精准度的对焦性能,大幅提升暗光、小物体及平坦区域的对焦能力;“AWB”更精准的AWB白平衡算法,复杂混合环境光源精准还原;“AE”更准确的曝光策略,更好的夜景及高动态场景表现。
vivo VI是服务高速计算成像的专业影像芯片,是一颗全定制的特殊规格集成电路芯片。位于主芯片和显示面板之间,可以搭配不同主芯片和显示屏,与主芯片ISP之间采用高速双向互联,以极低延时进行数据交互。起到扩充ISP高速成像算力,释放主芯片ISP负载的作用,同时服务用户在预览和录像的需求。
V1作为专业定制芯片在处理特定功能时具有三大特性,高性能、低延时、低功耗。比如夜景视频的拍摄,通过V1进行降噪和插帧,可以用计算量大的算法模块,即MEMC技术进行运动补偿,在V1协助下主芯片在低光录像时以低功耗运行全高清60帧的MEMC去噪和插帧,提升了夜景影像效果。并且配合主芯片的降噪功能,进行二次提亮二次降噪。
由此可以得到主芯片ISP与定制ISP V1的1+1大于2的效果。由于将软件算法转移至V1专用硬件电路中,在高速处理同等成像计算算法时,V1专用硬件电路的功耗降低50%。
可以看到,小米澎湃C1侧重对焦、白平衡、曝光等方面的优化,V1主要是智能降噪、智能插帧,V1芯片在X70 Pro上发挥三大落地价值,包括夜景、视频、游戏MEMC帧率增强。
小米、OPPO ISP IP供应商曝光,ISP IP赋能还将深化
ISP的产业链既有IP供应商包括芯原、安谋科技、翱捷科技,也有ISP芯片厂商华晶科、兴芯微等。最近翱捷科技就表示公司的ISP IP已经与OPPO、小米达成授权合作。据供应链消息,vivo也采用了第三方IP。
翱捷科技的ISP单元采用新型多pipeline架构,具有低功耗、低带宽、高并行计算能力、高度灵活性的优势。ISP单元同时集成了高动态图像视频处理能力、二维和三维图像去噪和增强能力和镜头畸变矫正等能力,使得公司ISP单元图像分辨率、颜色还原能力、图像动态范围处于业界领先水平。
翱捷科技表示,目前已与国内知名手机厂商OPPO、小米就ISP授权达成合作。通过IP授权业务,公司实现了自研IP的成果转化。同时与知名手机厂商建立了互信基础,为双方未来在智能手机基带芯片方面合作创造了良好条件。据悉,高性能ISP设计技术的IP授权业务方面,2020年1-9月营收达到5131万元。
芯原目前拥有用于集成电路设计的GPU IP、 NPU IP、 VPU IP、 DSP IP、 ISP IP五类处理器IP。根据 IPnest 报告,芯原 GPU IP(含 ISP)市场占有率排名全球前三,2019 年全球市场占有率约为 11.8%。
芯原 Vivante图像信号处理器 IP(ISP IP)技术支持图像传感器的多曝光高动态范围合成、原始图像高级三维降噪、局部色调映射、非局部均值降噪、多摄像头支持和多核内存共享等,并具备高性能低功耗镜头畸变矫正功能。
不过,芯原相关负责人对笔者表示,芯原主要用户包括安防监控、汽车辅助驾驶、智慧家庭以及AIoT等含摄像头的产品。至于有些在进行的客户则不方便透露。
去年12月,安谋科技发布了“玲珑”i3/i5 ISP处理器。它在降噪、清晰度和宽动态等指标上达到业界领先水平,具有高画质、低延时、可配置能力强、扩展兼容性高等特点,可广泛适用于安防监控、AIoT 及智能汽车等领域的视频、图像处理工作,能够满足不同场景的多样化数据处理需求。柴卫华对笔者表示,目前玲珑ISP已经有多家面向不同应用场景的客户芯片导入。
下一步会是什么芯片?手机SoC、下一代ISP……
此前,小米的左坤隆博士在接受央视采访时已经明确提到了小米自研芯片的后续规划。他说:“ISP只是起点,小米还是要回到手机心脏器件SoC的研发中。”OPPO、vivo关于手机SoC也总有着不少令外界关注的潜在动作。
手机厂商研发手机SoC已经不是新鲜事,例如华为、苹果、三星他们都有自己的芯片。如今,随着华为的淡出,小米、OV等都希望在智能手机上冲击更高的市占,小米更是打出了要三年成为全球第一的目标。那么,对手机SoC的追求和突破,会是这些厂商致胜未来的重要因素。
除了手机SoC之外,柴卫华认为手机厂商仍将持续优化手机影像的效果和体验,但从目前来看,他们借助ISP进行了局部优化,还有许多可优化的空间。因此,在首批推出ISP芯片之后,预计应该还会有进一步的ISP芯片研发计划。
如果看苹果的自研之路,手机处理器、电源芯片、GPU等无所不有,小米、OPPO、vivo等的自研芯片之路必将会予以借鉴。
如今,手机厂商已经在天时(冲击市占)、地利(国产化)、人和(吸纳人才)盘踞大量优势,ISP才只是开始。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
智能手机
+关注
关注
66文章
18429浏览量
179796 -
soc
+关注
关注
38文章
4115浏览量
217895 -
ISP
+关注
关注
6文章
476浏览量
51708 -
小米
+关注
关注
69文章
14323浏览量
143813
发布评论请先 登录
相关推荐
全球首款!RoboSense全自研专用SoC芯片M-Core获AEC-Q100认证
10月,RoboSense速腾聚创全自研SoC芯片M-Core获得AEC-Q100车规级可靠性认证,成为全球首款通过该认证的激光雷达专用SoC
苹果自研5G芯片或于明年亮相
苹果公司正加速推进其自研5G芯片的研发进程,有望最快在明年推出首款自研5G调制解调器。这一举措对高通而言,无疑构成了巨大的挑战。
全球首款!RoboSense全自研专用SoC芯片M-Core获AEC-Q100认证
RoboSense速腾聚创全自研SoC芯片M-Core获得AEC-Q100车规级可靠性认证,成为全球首款通过该认证的激光雷达专用SoC
苹果加速自研芯片进程,iPhone SE 4将首发自研5G基带
阶段,标志着苹果在摆脱外部5G基带供应方面迈出了重要一步。尽管苹果与高通之间的5G基带供应协议一直延续至2027年,但海通国际证券分析师Jeff Pu的研究报告指出,iPhone SE 4将首次采用苹果自研的5G基带芯片,这也是
比亚迪最快于11月实现自研算法量产,推进智驾芯片自研进程
10月21日市场传出消息,比亚迪正计划整合其新技术院下的自研智能驾驶团队,目标是在今年11月实现自研智能驾驶算法的量产,并持续推进智能驾驶芯片
小鹏自研智驾芯片:面向L4+AI大模型,集成40核+NPU+ISP
电子发烧友网报道(文/梁浩斌)新能源汽车时代,车企自研芯片的路线,尽管目的各不相同,但已经成为新势力车企的共识。最早从比亚迪为了供应链自主化而自研
4nm!小米 SoC芯片曝光!
来源:天天IC 编辑:感知芯视界 Link 爆料称,小米正在开发内部芯片,但此前有报道称该公司已放弃开发手机处理器,因为这是一项成本高昂的项目。新的爆料显示, 小米将在2025年上半年
三星电子内部或自研XR设备专用芯片
8月14日最新消息,韩国权威媒体《首尔经济日报》(Sedaily)于本月8日披露,三星电子正积极自研针对扩展现实(XR)设备的专用芯片,该项目由去年从英特尔引进的资深芯片设计专家Nee
国产车企自研智驾芯片加速落地,蔚来小鹏等领跑赛道
在智能汽车产业加速变革的浪潮中,中国车企正以前所未有的决心和速度推进核心技术自研,特别是在智能驾驶芯片这一关键领域,蔚来、小鹏等头部企业已迈出坚实步伐,自
自研自动驾驶芯片竞赛,索喜成为关键合作伙伴
目前汽车领域在手订单大约3000亿日元,主要是自动驾驶和HPC还有激光雷达、毫米波雷达、摄像头(应该是ISP)传感器芯片。
发表于 03-20 11:02
•1582次阅读
传音控股旗下Infinix宣布推出首款自研电源管理芯片Cheetah X1
传音控股旗下智能手机公司Infinix Mobile日前宣布推出首款自研电源管理芯片Cheetah X1。
英伟达缺货?OpenAI选择自研芯片
电子发烧友网报道(文/周凯扬)在生成式AI和大模型带来的AI洪流下,不少大厂都不约而同地选择了自研AI芯片。即便这意味着组建新的团队,花费大量的资金,但从长远发展的角度来看,自
谷歌自研手机SoC测试订单交由京元电
近日,谷歌在半导体委外策略上迎来了一次重大转变,其自研手机系统单芯片(SoC)“Tensor”首次释出测试订单给台湾的京元电。这一举动打破了
评论