大家对于处理器内部的IP供应商,最熟悉的是ARM和Imagination。他们几乎提供了所有的CPU和GPU内核IP。基本上他们的IP就已经决定了一颗处理器能跑多少分。但是越来越多人明白了一个新道理:仅仅会跑个高分,对于一个处理器来说,肯定是不够的。具体来说,还要看这颗处理器,既要强大,还要省电,同时最好还很智能。
因此,对于提供CPU和GPU以外的IP,例如DSP处理、连接(有线和无线)、通信的IP,可以帮助实现更省电、更智能、更灵活的连接性。日前电子工程专辑记者专访了CEVA公司市场拓展副总裁Eran Briman,向这家全球排名第一的DSP IP和WiFi蓝牙授权厂商,了解这些技术的细节。
CEVA公司市场拓展副总裁Eran Briman在深圳接受媒体的采访
CEVA近五年的IP战略演变
CEVA是业界排名第一的DSP IP供应商,在Nasdaq上市,全球员工约250名,其中170名都在以色列总部,因此常被认为是一家以色列公司。
很多芯片公司成为了一代拳王,是因为不能做出下一代和下几代的有优势的产品。那么如果是一家IP供应商,不能有远见地看到四五年以后的芯片趋势,那么他们也很可能会犯致命错误。不久前一位EDA工具和IP供应商的朋友在社交平台上发了个感叹:半导体厂商合并太快,今后每个垂直市场只能让前三的芯片厂商生存,因此所有的活下来的芯片厂商都可以说自己做到了市场前三。
下面这张图是CEVA在2011年的IP产品规划图。细心一点即可发现,在移动多媒体CEVA只规划了720P高清的视频编解CEVA-X IP,其中并没有列出1080P或更高清的视频编解码IP。
当我向Eran Briman求解时,他给出的回答很让人启发。“在2011年我们还认为应用市场可以像图中那样细分,但后来市场变化得很快。我们当时认为1080p和更高清的标准的标准视频标准,都会由硬解码完成。而能够编程的非标准视频和图像的DSP处理,才会更有价值。”
2015年,CEVA的客户对于信号处理的重要需求,变成了上张PPT中的四个大类:图像与视觉、音频/语音/感测、无线连接、通信。
“在新的信号处理上,反而是DSP变得越来越重要。我们认为今后的DSP发展趋势,应该是以提供独立第三方IP这种方式更适合生存,而不是像TI这种自己研发DSP技术,仅在自己的芯片上使用,”一位CEVA的工作人员告诉我们说。的确,DSP在图像识别、机器视觉、语音/声音识别等方面的应用场景非常广泛,采用IP授权的方式,有利于集中力量做研发,同时又均摊成本。
上面这张CEVA授权厂商的图表,很好地说明了IP授权业务的模式很成功,国内的展讯、炬力、瑞芯微、新岸线、RDA、ZTE、Beken等,都是CEVA的客户。细心的人可以发现,海思半导体并不在列。
在2G和3G通信时代,高通几乎掌握了大部分的基带专利技术,CEVA的2G/2.5G/3G基带无线通信技术,授权给了展讯、三星、联芯和英特尔等芯片厂商,在4G/LTE以后,高通的专利变少,而CEVA获得了很多的LTE授权。2014年采用了CEVA LTIP的智能手机出货量真实过了1100万,到2015年Q3预计就会超过2500万支。这个统计数据不包括新兴的物联网的设备。
过去两三年中,很多半导体厂商的手机基带与处理器部门被出售、合并或是裁员关闭,而过往的手机芯片大佬高通的手机芯片业务,也受到很大的冲击,其大客户三星,在新的旗舰机上Galaxy S6上,采用了高通和三星自己的基带,市场传闻三星自己的基带手机出货量更大。甚至还有传闻,苹果的下一代手机,会采用英特尔的基带,对于高通真的是一坏消息 ,但对于CEVA,却相反,因为英特尔、三星手机芯片都用了CEVA的IP。手机芯片市场格局在发生变化,芯片背后的IP供应商,起了重要的作用。有人预测将来存活下来的手机芯片厂商,应该难以超过六家,其中有三家是自家手机用自家的处理器:苹果、三星和华为。
新的物联网设备需要用到的技术,包括蓝牙、WIFI、图像与视觉、音频/语音/感测、通信。CEVA已经有获得了超过50家的非基带授权客户。
上图右边是在列的非基带授权业务,数量已经超过了50家。而现在的手机平板芯片厂家数量还在继续减少。
针对物联网设备,WiFi、蓝牙、LTE和窄带LTE(NB-LTE)是最重要的连接技术,而非传统的LTE和有线连接。通过摄像机进行面部识别、 AR、VR、ADAS,或是通过智能数字麦克风与传感器,智能设备中的始终开启、噪声抑制、传感器中枢技术,也正好是CEVA为物联网提供的未来技术。
CEVA花1900美元收购的RivieraWaves,带来了超值的回报
2014年7月CEVA以1900万美元收购RivieraWaves。这家公司的低功耗WiFi与蓝牙IP技术,与CEVA的DSP结合,现在看来是非常成功的案例。RivieraWaves的Wi-Fi和Bluetooth IP以备有高功效的基于硬件设计和基于DSP设计方式提供,为LTE和Wi-Fi带来了实现差异化的灵活性和统一的平台。其蓝牙与WIFI IP,已经成功地应用到了很多新的物联网市场,包括可穿戴、智能家居,无线音响等超大量规模应用。
下面这张PPT中有提到一个ZigSmart的词。据Eran Briman介绍,它是由ZigBee、Thread、6LoWPAN、BLT 4.2整合演进,是CEVA的独家专有技术,符合 IEEE 802.15.4标准。
在上图列出的客户中,Dialog在小米手环和众多可穿戴设备上的成功,Beken在无线蓝牙音箱市场等领域占有很大的出货量,都让人印象深刻。现在越来越多的遥控器、耳机、健身产品,也都在采用越低功耗蓝牙方案,将来每个市场的出货量将是数以亿计。
在CEVA与NXP的一篇新闻稿中指出,“NXP的SoC充分利用RivieraWaves Bluetooth Smart 的超低功耗特性,极大地简化了下一代可穿戴产品、智能家居、数字健康和其它物联网(IoT) 构成设备的创新。”
“RivieraWaves Bluetooth Smart IP为智能手表、助听器、用于医疗/运动(心率、血糖、体温)的可穿戴传感器、遥控装置、玩具、环境传感器和位置信标等需要单模式低功耗蓝牙(BLE)的应用及许多其它“机器对机器”(machine–to-machine)通信提供极低功耗、低运算负荷和低逻辑门数的平台。这个Bluetooth Smart IP符合最新的Bluetooth Smart 4.2规范,由一个硬件基带控制器和包括Profiles在内的完整软件协议栈构成。”
顺便说一下,对于CEVA业务模式上既收IP授权费,又收IP使用费。这些新的应用随时都有着比手机平板都要大的出货量,钱景真是无限看好。下面插入一张CEVA过去18个月的股价趋势图,刺激大家一下:
CEVA的股价在过去一年中几乎翻了一番。
笔者在另一篇新闻稿中找到了关于低功耗WiFi IP技术的介绍。低功耗WiFi是一个非常值得大家关注的技术,具体作用的描述,从一篇CEVA的新闻稿中摘录如右:CEVA的RivieraWaves Wi-Fi IP在瞄准智能手机、可穿戴产品、消费电子、智能家居、工业和汽车电子应用的SoC设计中无缝实现低功耗802.11合规连接性功能。
还是用一张PPT来说明CEVA的WIFI平台更合适。其中Celeno也是一个以色列公司,主要市场是家庭用WiFi产品。
智能产品不可或缺的技术:图像视觉识别、语音识别分析
对视频、图像和语音的机器识别与分析,在云和服务器端并不是什么难题。但在嵌入式产品端来进行,一直是一个非常前沿的科技难题。一方面是因为嵌入式产品的功率与功耗限制了处理器的性能,或一方面则是海量的存储数据,都只能在云端进行,嵌入式产品的智能识别功能非常有限。
随着新的技术的发展,在嵌入式产品端直接完成快速的识别与判断, 渐渐成为了可能。CEVA推出深层神经网络框架加快低功耗嵌入式系统中的机器学习技术的应用。
CEVA公司日前宣布推出实时神经网络软件框架CEVA 深层神经网络(CEVA Deep Neural Network, CDNN),以简化低功耗嵌入式系统中的机器学习部署。通过利用CEVA-XM4 图像和视觉DSP的处理能力,CDNN使得嵌入式系统执行深层学习任务的速度比基于GPU的领先系统提高3倍,同时消耗的功率减少30倍,所需存储带宽减少15倍 (注)。例如,在28nm工艺下对每秒 30帧的1080p视频流运行基于深层神经网络(DNN) 的行人检测算法,所需功率低于30mW。
CNN神经网络之前有介绍过,此处不再重复。下面分声音和视觉两方面来做介绍。
声音分析指的是嵌入式产品,可能接受语音的指令或者是感受到环境中的声音,通过DSP技术来识别这些声音,例如婴儿的哭泣、门窗玻璃碎裂等,来作出决断并给出下一步的指令。
而这些,都是在无云端(Cloudless)的音频分析,以低功耗的方式完成。
工程师今后可以借助具备声音分析功能的芯片,开发出语音控制的产品,或是声音预警的产品。个人想到的就有家用机器人,声音远程报警设备、小区智能监控器等。
智能的视觉分析技术,它比以往的GPU和CPU,更加节能高效。CEVA公司CEVAnet合作伙伴计划的成员企业Phi Algorithm Solutions已经使用CDNN实现了一个基于CNN的通用目标检测 (Universal Object Detector)算法,用于CEVA-XM4 DSP。现在应用开发人员和OEM厂商可以把这个算法用于各种应用,包括用于安全的行人检测和面部检测、先进驾驶辅助系统(ADAS)和基于低功耗相机功能系统的其它嵌入式设备。
Phi Algorithm Solutions总裁兼共同创始人Steven Hanna在新闻稿中表示:“CEVA深层神经网络框架为我们基于卷积神经网络的算法提供了从离线训练到实时检测的快速顺畅路径,使得我们能够在短短数天内获得经过优化的独特目标检测网络实施方案,并且功耗比其它平台显著降低。CEVA-XM4图像和视觉DSP结合CDNN框架,是嵌入式视觉设备的理想选择,并且为使用深层学习技术的人工智能设备在未来数年的进步打稳了根基。”
CDNN软件框架以源代码方式提供,扩展了CEVA-XM现有的应用开发套件 (ADK) 。它具有灵活和模块化特性,能够支持完整的CNN实施方案或特定层,并且可与各种网络和结构共享,比如使用Caffe、Torch或Theano训练框架开发的网络,或专有网络。CDNN包括用于图像分类、定位和目标识别的实时示例模型,用于目标和场景识别、先进驾驶辅助系统(ADAS)、人工智能 (AI)、视频分析、增强现实(AR)、虚拟现实(VR)和类似的计算机视觉应用。
总结
最后回到文章前面提到了1080P高清编解码的IP问题。相比这些可编程的视觉分析DSP技术,那些标准化的视频格式的处理,给客户、用户带来的价值,是完全不同的。应对差异化无限大的物联网市场,设计或是选择一颗好的处理器,参考的指标远不仅是ARM/Imagination的CPU和GPU内核参数这么简单。
评论
查看更多