AI芯片创企探境科技发布用于语音识别降噪的高计算强度神经网络(HONN),并提出了增强识别一体化的端到端识别流程。HONN在远场和高噪声等环境下的识别率明显优于DNN。
此前在今年9月,探境发布通用型语音AI芯片音旋风611,智东西曾对该芯片及内部存储优先架构(SFA)做详细报道。(探境推全球首款通用型语音AI芯片,2美元、已量产,图像芯片年底见)
现场,探境宣布升级语音解决方案,实现在线离线一体化,并展示了探境语音产品全矩阵及端云一体的全栈式平台化发展战略。
据介绍,到目前为止,探境语音识别方案已实现百万级产品出货,今年营收已经破千万元。
探境共有30家合作伙伴,所涉及智能家居品类丰富,从灯具到热水器、垃圾筒、净化器应有尽有。
一、语音/图像芯片双线并行,展示语音产品全矩阵
探境科技2017年成立,去年完成上亿元A轮融资,覆盖芯片、软件、算法、系统全栈式技术能力,能提供Turn-key整体方案,既有面向家具、玩具、智能穿戴等场景的语音系列解决方案,也有面向图像场景下有安防、新零售、辅助驾驶等方面的图像解决方案。
探境科技目前在全球有6个研发中心,分别在北京、上海、深圳、合肥、杭州、美国硅谷。员工接近200人,其中150人是研发人员,其骨干研发人员平均工作经验约15年,其中有50人拥有硕士、博士学历。
今年9月,探境面向智能家居市场发布离在线一体语音识别芯片音旋风611,称它是目前市面上综合性能最好、性价比最高的一款离在线语音方案,已在多家客户的产品中得到应用并收获良好客户口碑。
音旋风611支持多达200条命令词,可覆盖大部分生活场景,唤醒率不低于99%,识别率超过97%,误唤醒率低于24小时1次,几乎在眨眼之间就能完成识别,在10米范围之内,都可以正常唤醒与识别。
探境已构建整个产品矩阵,从低功耗到旗舰产品全面覆盖,除了单麦和双麦的611和612,还有支持降噪的631、可用于可穿戴设备的超低功耗311、可用于智能家居的精简命令词321。
其旗舰产品是711/712,主要面对高端自然语言识别的场景,比现在采用命令词的方式,有更大的体验和升级。
总体而言,探境打造的全栈式语音解决方案,主要有五个特点:语音识别体验好、功耗低、超高性价比、易集成、端云一体化。
由于目前存在一些在线连接的需求,探境会将离线和在线一起提供给大家,做一个整体的解决方案。
另外,探境的图像芯片目前已流片成功,能效比是目前已知全球最高图像推理性能,达到800IPS/W。
二、AI算法二次升级,鲁棒性和抗噪能力更强
在家居环境下,语音识别主要面临几个挑战:一是在远场、高噪声等苛刻场景下信噪比低,二是非稳态的噪声影响,三是难以处理多声源问题。
如图是探境语音识别的的简化版框图,一般包括两个环节:一是降噪处理和语音识别,二是为语音专门设计的高计算强度神经网络HONN。
1、基于深度学习的降噪算法
不同于传统降噪算法,探境的降噪算法是基于深度学习的AI降噪算法,不仅可以处理常见的稳态噪声,还能很好地处理一些非稳态的噪声和突发性的噪声。
为验证该算法的识别有效性,探境将一批信噪比在3dB左右的语音数据,送到一家知名互联网公司的云端识别引擎做了测试,降噪后比降噪前的识别率能够提升30%以上。
2、设计新型语音识别网络
算力决定识别率的上限,趋向于用复杂度高的模型做声学建模。
参数数量相同的条件下,提高计算强度能提高模型的算力需求,卷积能提取声音信号符合人类生理感知的本质特征。
参考计算机视觉中的最新进展,探境科技设计了用于语音识别的高计算强度神经网络(HONN),来对声学建模单元进行升级。
传统语音识别算法多使用全连接(DNN/DTNN),探境HONN增加了卷积的操作次数,将每一个处理单元变成了立体的,减少了DNN/TDNN中全连接的次数,同时信息量和计算密度远超传统DNN/DTNN方法。这带来更深维度的识别,从而显著提升性能。
HONN的参数量约是传统DNN算法的五分之一,所需存储比DNN低,但模型复杂度几乎是DNN的4倍。
与存储的需求刚好相反,高强度计算神经网络的算力需求量超过106MOPS,而DNN只有个位数的计算强度,相差了30倍。
在安静环境下,两种方法的差异并不明显,但一旦降低信噪比,HONN的在远场和高噪声等环境下的识别率明显优于DNN。
3、端到端一体化建模识别是当前的前沿算法
为消除各模块间的不适配,端到端处理一体化优化成发展方向。
传统麦克风阵列处理+ASR流程存在如下四个缺点:
(1)DOA依赖于单麦唤醒词检测,使用场景受限;
(2)两个环节优化目标不一致,降噪与识别可能不适配;
(3)对硬件要求高,提高BOM成本;
(4)无法处理干扰源与目标声源方向接近时的状况。
为了解决这些问题,探境提出了增强识别一体化的端到端识别流程。
在这个流程中,探境放弃用传统数字信号处理算法做语音增强,而采用了一套基于神经网络的AI算法做信号增强,处理算法所有的参数都是和神经网络一起训练的,以降低最后的识别错误率。
其唤醒、识别均依赖于增强后的信号,唤醒率高,不会出现信号增强依赖于单麦唤醒的情况。
信号增强与识别模块整体的优化目标也是一致的,是为了降低识别错误率,所以不会出现不适配的情况。
在训练过程中,探境加入注意力模型和注意力机制,建模效率高,可增强干扰/目标信号方向接近时的识别率。
探境采用FCSP方法处理双麦数据,投影矩阵通过端到端的学习得到,降噪识别完全匹配,整套流程由数据驱动,训练数据中覆盖了各种距离、角度和麦克风配置的数据,因此不会出现不匹配的情况,对硬件的要求更低。
端到端处理算法是当前较为前沿的处理算法,最近两年,国内外一些大厂都在采用基于端到端的方法做增强识别一体的处理。
例如,亚马逊可学习的空间滤波方法能将识别错误率相对降低15%,谷歌Factored Model in Frequency方法能将识别错误率相对降低16%,而探境的频域复数子空间投影(FCSP)具有超强抗噪性能,可将识别错误率相对降低20%。
在高噪声环境下,在信噪比3dB左右,其信噪比依然接近97%;在信噪比接近0dB时,其信噪比依然接近93%。
三、支撑超强算法背后:打破存储墙问题的创新芯片架构
相比传统降噪(Beamforming)+DNN方法,探境的AI信号处理+HONN方法对MIC和配套电路的要求更低,同时在高噪声环境下的识别率和同等参数量下的算力需求都更高。
为什么探境采用这种算法,而其他友商不这么做呢?主要有两个原因:
首先,做这一算法需要熟悉语音、图像、神经网络、信号处理等各模块,对算法研发实力和实现能力均有很高的要求。
其次,探境做的是高强度计算神经网络,国内很多语音识别芯片是基于DSP或MCU的,算力非常有限,无法支撑这套算法框架。
探境创造性地研发了存储优先架构(SFA),解决存储带宽要求大、存储功耗高、数据复用等问题对计算性能的影响。探境SFA架构可带来超高能效比,数据访问可降低10-100倍,存储子系统功耗下降10倍以上,28nm工艺系统能效超过2TOPS/W。
SFA不仅是适配于终端,也适配于云端推理和训练,可以组合成各种不同的产品形态。它具有高能耗比、良好易用性和通用性的特点。
探境科技CEO鲁勇表示,SFA的AI芯片架构是真正符合商业应用的AI芯片架构。
其一,采用成熟设计方案。仅在系统层面做架构更新,无需对底层器件进行修改设计,符合成本结构,不会在芯片内部集成大量的存储以完成高性能。其商业化路径也很快。
其二,通用性高。SFA可支持TDNN、CNN和RNN等任意神经网络的,面向众多场景。
其三,易用性高。探境提供零基础用户可使用的工具链,用户学习成本低,模型移植简单。
探境音旋风611的NPU,本地有效算力非常高,通用性非常好,可以支持CNN、RNN以及HONN等复杂度高的识别模型,也可以支持端到端的处理,可以完美支持FCSP+HONN算法框架。
基于双麦算法,探境对语音芯片进行再升级,推出了音旋风612语音识别方案。
相比传统语音芯片,探境音旋风612有如下三个特点:
(1)降低了对多麦的信号处理,无形中节省了硬件成本;
(2)在高噪声环境下识别率高;
(3)有效算力更高。
在声压超过85dB的高噪声环境下,音旋风612的识别依然毫无压力。
结语:语音算法升级的价值在于提升用户体验
语音产品解决方案的价值与产品用户体验密切相关,软硬协同已经成为兼顾高算力、低功耗、低成本所必备的要素,探境通过研发创新SFA架构解决芯片性能和成本问题,通过算法升级来提升用户体验。
探境科技技术副总裁李同治表示,做C端消费类产品,用户体验是根本,产品用户体验好了,消费者才买单。探境的这次算法升级,可明显提升用户体验,让消费者满意,从而让合作伙伴、B端客户、探境一起受益。
评论
查看更多