0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

vivo是如何做到在连续几个月里持续刷屏的?

454398 作者:工程师吴畏 2018-08-08 14:12 次阅读

从 1 月份在 CES 发布全球首款屏幕指纹手机 X20 Plus UD,到 2 月份发布集超高屏占比、升降式前置摄像头、半屏屏幕指纹等「黑科技」于一身的概念机 APEX,再到两周前发布惊艳程度不输 APEX 的「量产概念机」NEX 以及刚刚展示的 vivo ToF 3D超感应技术,vivo 用一个个领先行业的技术在过去的几个月持续「刷屏」。

与此同时,在最近热门的手机 AI 领域,vivo 也做出来了不少值得一提的东西。

在今年 3 月底发布的主力产品 X21 上,vivo 推出了叫做 Jovi(Enjoy vivo‘s AI)的 AI 助理,包含了智慧引擎、智慧场景、智慧识屏、智慧桌面、智慧驾驶在内的 5 大功能。

经过两个多月的努力,到了 NEX 这一代产品上,vivo 对 Jovi 进行了全面的升级,大幅扩充了 Jovi 的「技能包」,更加充分地利用了手机的 AI 能力。

这一切要先从一颗按键说起。

一颗按键引发的思考

按键是手机交互的第一层级,它高于触摸操作,可以让用户在不接触手机屏幕的情况即可完成特定的操作。

目前智能手机中最常见的设计是电源键、音量加、音量减三大「金刚」,除此之外,一些手机厂商也尝试增加额外的按键让用户更快捷地完成部分操作,比如 iPhone 上的静音按键、一加手机上的三段式模式按键、锤子手机的「闪念胶囊」键、索尼手机上的实体拍照键、三星手机的 Bixby 按键。

在 NEX 的机身左侧,vivo 也增加了一颗实体按键,叫做「Jovi AI 独立按键」。

顾名思义,这颗按键是用来启动 Jovi 的,具体的功能有两个:长按启动 Jovi 智能语音助手,短按启动 Jovi 智慧识屏。

Jovi 智能语音助手

我们先从 Jovi 智能语音助手说起。

大家知道,对于智能手机来说,智能语音助手早就算不上什么新鲜功能了,苹果早在 2010 年发布的 iPhone 4S 上就搭载智能语音助手 Siri。之后,谷歌、亚马逊、微软、三星以及众多国产手机厂商也纷纷推出了自家的语音助手。

作为一位「新人」,Jovi 智能语音助手有两个特别的地方:第一个是唤醒方式,第二个是可实现的功能。

Jovi 智能语音助手有两种唤醒方式,第一种是按住侧面的 Jovi AI 独立按键同时来说话,第二种是用唤醒词进行远场语音唤醒。

Jovi 提供了两个唤醒热词,分别是拟人的「小 V 小 V」和更加国际范儿的「Hi,Jovi」,用户在录入自己的语音后,即可通过自己的语音来唤醒 Jovi。为此,NEX 内置了一颗专属的 S801 AI 语音芯片,日常使用中可以以极低的功耗待机,在听到用户的声音后快速进行响应。

功能方面,除了查天气、设闹钟、设置日程提醒、搜索音乐、听新闻等语音助手的基本功能,Jovi 智能语音助手还可以完成包含了 app 内多个步骤的复杂指令。

以生活中常见的微信发红包功能为例,Jovi 智能语音助手已经可以完成「给德赫亚发 5 元红包并留言恭喜西班牙小组第一晋级」这种操作。

这句话中,包含了打开微信、在联系人中搜索「德赫亚」、点击联系人头像、点击发消息、点击对话框右下角的加号、点击红包、在金额中输入「5」、金额下面的对话框中输入「恭喜西班牙小组第一晋级」、点击「塞钱进红包」等接近 10 个步骤。

为了实现这个复杂的指令,除了需要强大的深度自然语言理解能力,还需要在应用层和主流 app 进行打通,目前 Jovi 已经覆盖了包括导航、社交、音乐、视频、旅行、购物、天气、打车等在内的多个头部 app,包括大家熟悉的百度地图、京东、淘宝、微信、大众点评、QQ 音乐、滴滴出行等常用 app。

除了这些 vivo 官方准备好的「技能包」,用户还可以根据自己的需求来为 Jovi 语音助手定制属于自己的功能。

打开 NEX 预装的 Jovi 语音 app,在右上角可以看到一个「教」的字样,点开后就可以呼出 Jovi 的命令教学功能了。

在这里,用户可以添加专属的语音指令,然后为它定制自己所需要的功能,目前 Jovi 可以支持单个应用内的「点击」以及「文本输入」这两种属性的操作,已经可以覆盖大部分的 app 内功能,vivo 表示之后会让 Jovi 支持更多属性的操作。

如果你懒得「手把手」教 Jovi,还可以直接使用 Jovi 内建的「命令广场」功能,这里汇集了用户分享的自己教 Jovi 学会的语音指令。

目前「命令广场」里已经有了不少颇为实用的指令,比如「我要看世界杯」(打开优酷,点击世界杯专题),「支付宝收能量」(打开支付宝,点击更多、财富管理、蚂蚁森林),「招行信用卡还款」(打开招商银行,点击信用卡还款)。

未来,随着 Jovi 智能语音助手的用户越来越多,「命令广场」的内容会快速得到丰富,vivo 也会选择将受用户欢迎的指令直接集成到 Jovi 的默认功能中,从而让 Jovi 的功能更快速度地进行迭代和进化。

Jovi 智慧识屏

聊完 Jovi 智能语音助手,我们来看一下 NEX 侧面 AI 按键的另外一个功能:短按呼出 Jovi 智慧识屏。

和智能语音助手类似,识别屏幕内容也不是什么新功能,比较早的尝试可以追溯到谷歌在 Android 6.0 时发布的 Now On Tap 功能。到了 AI 时代,通过使用大量的数据对神经网络模型进行训练,手机在图像和文本识别的速度和准确性上有了巨大的提高。

NEX 搭载的是高通最新的旗舰 SoC 骁龙 845,利用配套的 AI Engine 提供的强大的 AI 运算能力,NEX 可以快速完成对屏幕内容的准确识别。不过能识别出内容只是一个前提,Jovi 智慧识屏的不同之处在于它的「智慧」部分。

在按下这颗 AI 按键后,Jovi 智慧识屏能够根据屏幕上的内容,智能地进行识别。

当你在查看一张花的照片的时候,Jovi 智慧识屏会识别花的名称并给出相关的信息。当你在看一张产品照片的时候,Jovi 智慧识屏又会识别出产品的型号并列出淘宝的购买链接。当你在阅读文章的时候,Jovi 智慧识屏会将文字根据语义智能地分开,方便用户精确选择文字。

此外,如果屏幕上包含了多种文字信息,Jovi 智慧识屏还可以智能地对人名地名等专有名词、电话号码、日常安排、快递单号等信息进行提取,将不同类型的信息汇总成一个个简洁清晰的小卡片,方便用户查阅。

Jovi 智慧识屏还可以和更多的信息和功能进行联动,比如当你和朋友在微信上约看电影,Jovi 智慧识屏可以智能地展示出最近的行程,电影的介绍资料、评分,甚至是去电影院的导航信息,所有操作均在一个界面进行展示,大幅提高效率。

有了这些「智慧」的功能加入,Jovi 智慧识屏所能做的已经远不是一个简单的「识屏」,而是更加接近一个无声的个人助理,它可以根据屏幕正在显示的信息给你自动「整理」出你需要的东西。

智慧场景、智慧桌面

除了 Jovi 智能语音助手、Jovi 智慧识屏这两个重要新增功能,Jovi 智慧场景、智慧桌面等原有的智能功能也得到了进一步的完善。

Jovi 智慧场景位于通知栏的右上角,可以根据信息智能地生成卡片并在必要时推送,覆盖的信息有天气、交通、日常、电影、酒店、运动、快递、红包、赛事等等,而智慧桌面则位于桌面负一屏,这里包含了多种由 vivo 和第三方提供的聚合了多重信息的卡片,其中也包括了 Jovi 智能场景智能生成的事件。

值得一提的是,在最近的更新中,vivo 特别优化了 Jovi 在世界杯期间的体验。

在 Jovi 智慧场景中,用户可以实时查看赛事比分,也可以点击进去看实时的文字和视频直播(接入的是优酷)。此外,用户还可以选择自己喜爱的球队,Jovi 会根据比赛安排提醒你观看直播,同步赛况。

在 NEX 上,vivo 还进一步提高了 AI 对拍照相关体验的加成。

在拍照时,NEX 可以快速识别场景然后进行针对性的参数调整,在遇到逆光场景时,NEX 可以根据场景只能选择多帧合成张片的数量,进一步提升逆光拍照效果,可以实现高达 11.3eV 的动态范围。

在 NEX 自带的相册中,vivo 也赋予了更多的 AI 元素,比如使用 AI 算法自动将照片根据地点、时间、事件、照片亲密度等维度自动聚合,基于 AI 算法和图像识别技术提出的关键词来通过关键词快速搜索照片。

AI 背后的高通 AI Engine

要实现以上这些和 AI 相关的功能,需要有一个强大的硬件平台作为支撑,而这个支撑就是高通 AI Engine(AIE)。

今年的 2 月 21 号,在 MWC 2018 开幕前,高通正式推出了自家的人工智能引擎 AI Engine(Qualcomm Artificial Intelligence Engine,AI Engine),用于提高设备端(比如采用骁龙 SoC 的手机)上 AI 相关的运算能力。

vivo是如何做到在连续几个月里持续刷屏的?

AI Engine 包含了 3 个硬件和 3 个核心软件,硬件部分为 CPUGPUDSP 三个部分,通过配套的骁龙神经处理引擎(NPE)软件框架,可以帮助开发着根据任务的需要,从 DSP、GPU、CPU 中智能选择合适的内核。

在此基础上,高通和多家算法提供商联合推出了多个利用 AI Engine 的应用优化,比如商汤科技和旷视 Face++提供的多种预先训练的用于背景虚化、面部解锁、场景识别的神经网络,虹软提供的单摄和双摄算法,创通联达针对人工智能视觉用例和终端提供完整的解决方案,而腾讯、百度等云服务厂商也在利用 AI Engine 进行应用优化。

目前支持高通 AI Engine 的 SoC 有骁龙 845、835、820、660、710,早在三月份发布的 X21 上,vivo 就使用了骁龙 600 的 AI Engine 引擎,这也是行业最早使用 AI Engine 的智能手机之一。而相比起骁龙 660,NEX 旗舰版上采用的骁龙 845 在 AI 性能上又有了数倍的提升,为 NEX 的 AI 功能提供了更加充裕的硬件基础。

除了高通,在 NEX 的 AI 方案中,还可以看到很多行业头部「玩家」的名字。

在语音方面,vivo NEX 搭载了由「娄氏公司」提供的声音采集、话筒、音响等硬件处理芯片,这让 NEX 成为全球唯一一家配置语音硬件芯片的手机,为 Jovi 智能语音助手的体验打下了更好的硬件基础。此外,vivo 还与国内的讯飞和百度达成合作,来提高 NEX 的自然语言理解能力,让 NEX 可以识别复杂的语音指令。

以解决用户需求为出发点的实用派 AI

过去一年里,手机行业有两个趋势最为显著,一个是屏占比的不断提高,一个是全面的 AI 化。

相比起屏占比提高带来的视觉冲击,手机 AI 带来的体验要「隐性」不少,甚至在一些手机厂商前期对 AI 的过度宣传下,一度被不少消费者认为是个「噱头」。不过在高通、海思等上游厂商以及 vivo 等手机厂商的联合推动下,手机 AI 正在快速发展,AI 对用户日常体验的加成正在越来越明显。

在这一波的手机 AI 大潮中,vivo 是行动最早、重视程度最高的厂商之一。在保持技术前瞻性的同时,vivo 在 AI 应用上更加强调解决用户的实际需求。

这次 NEX 上搭载的 Jovi 智能语音助手和 Jovi 智慧识屏就是两个典型的应用,语音助手和识屏都不是开创性的功能,不过通过和 AI 的结合,vivo 把它落地成了更多实用的功能,让用户可以通过方便地按下手机侧面的独立按键,通过语音或识屏的方式更高效地完成很多日常生活中的高频操作。

NEX 的 Jovi 体现了 vivo 这家乐于和用户沟通的手机厂商在产品研发时对用户的「关怀」,而对于现在的手机 AI 来说,这种实用派 AI 可能也是目前最合适的落脚点了。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30212

    浏览量

    268462
  • vivo
    +关注

    关注

    12

    文章

    3292

    浏览量

    63151
  • 语音助手
    +关注

    关注

    7

    文章

    235

    浏览量

    26793
收藏 人收藏

    评论

    相关推荐

    电装在中国如何做到安全生产

    电装集团的发展历程中,“环境·安心”的大义始终贯穿其中,成为推动可持续发展的核心力量。作为《为中国社会持续做贡献的电装》系列中的安心篇章,今天我们将带您深入了解,探索电装如何将安心承诺融入每一个生产环节,确保每一位员工和每一件
    的头像 发表于 11-22 14:44 106次阅读

    工程行业中如何做到低碳甚至零碳

    低碳的生活方式越来越多地融入我们的日常习惯当中。但是工程行业中如何做到低碳甚至零碳呢?
    的头像 发表于 10-14 10:31 347次阅读

    TPA3251如何做到180W的功率,电压12V,电流应该多少?

    TPA3251如何做到180W的功率,电压12V,电流应该多少,请推荐DCDC
    发表于 10-11 06:54

    写 Verilog 如何做到心中有电路?

    ,共同进步。 欢迎加入FPGA技术微信交流群14群! 交流问题(一) Q:写 Verilog 如何做到心中有电路?老师说没电路就不要写代码,但我写个乘法器综合前都想不出它电路啥样,全加器还行。 A
    发表于 09-26 20:30

    ADS1299EEG-FE为什么无法做到连续实时显示波形?

    我买了一块ADS1299EEG-FE 性能演示套件,也电脑上安装并使用了它对应的软件,但使用过程中,发现只能按照“samples/CH”设定值,有间断地显示信号,无法做到连续实时显示波形。这是为什么?
    发表于 08-14 08:16

    请问使用lwip创建socket,该如何做到非阻塞的接收发送数据?

    请问使用lwip创建socket,该如何做到非阻塞的接收发送数据?
    发表于 06-19 06:02

    STM32PWM输出模式中,如何做到PWM移向输出?

    PWM输出模式中,如何做到PWM移向输出?DSP中有时基相位寄存器,可以移向配置占空比。但是好像没有发现STM32单片机有类似的寄存器功能。请问各位大神是否有其他方法可以实现PWM移向输出呢?
    发表于 05-15 06:02

    多路电源并联输出如何做到均流不倒灌?

    如果负载所需要的功率较大,单独一路供电又满足不了需求,但是有暂时没有大的供电电源,那么是如何做到两个或者多个同样的电源做到相等输出均流不倒灌呢?有什么办法解决,其原理是什么? 举例,两个LDO输出
    发表于 04-27 22:54

    光伏户用如何做到低成本获客?

    结合鹧鸪云光伏系统,探讨光伏户用如何做到低成本获客。 一、了解市场需求,精准定位 光伏企业获客时,首先要深入了解市场需求。通过市场调研,确定目标客户群体,如农村居民、环保意识强的城市居民等。同时,精准
    发表于 02-27 10:33

    “其貌不扬”的共模电感究竟是如何做到抗干扰的呢?

    “其貌不扬”的共模电感究竟是如何做到抗干扰的呢? 共模电感是一种用于滤除电子设备中的共模噪声的重要元件,其主要作用是提供阻抗来滤除共模干扰信号。尽管外观看起来“其貌不扬”,但共模电感通过其特殊
    的头像 发表于 01-11 16:27 714次阅读

    RF模组sleep状态下如何做到最低功耗?

    的。那么如何解决呢?本文将对RF模组Sleep状态下如何做到最低功耗进行说明。RF模组sleep时RF模组的IO状态先要获知RF模组Sleep时,RF模组的IO
    的头像 发表于 01-06 08:13 461次阅读
    RF模组sleep状态下<b class='flag-5'>如何做到</b>最低功耗?

    工业级连接器如何做到高抗冲击性?选款一定要了解这几点

    连接器知识分享工业级连接器多用在工厂、车载、户外等复杂场景下,因而面临冲击等应力影响的概率极高。工业级连接器如何做到高抗冲击性,确保高可靠连接呢?这篇文章讲清楚。工业级连接器如何做到高抗冲击性?LP
    的头像 发表于 01-06 08:13 345次阅读
    工业级连接器<b class='flag-5'>如何做到</b>高抗冲击性?选款一定要了解这几点

    请问能用I2C读取ADXL345连续几个寄存器吗?

    实际的操作过程中发现,不能使用I2c读取ADXL345连续几个寄存器(0x32-0x37),看到论坛有说明SPI可以,我在这里想问问专业的工程师I2C可以
    发表于 01-02 08:05

    AD6688如何做到多板间的AD采样同步?

    大家好,JESD204B协议已让单板多片AD采样同步变得更容易了,想请教下,如何做到多板间的AD采样同步啊,有没有什么好的思路啊。 还有AD6688的采样时钟频率范围为2.5G~3.1G,芯片支持
    发表于 12-12 08:27

    电机水里泡了几个月的时间,启动电机就启动不了了是为什么?

    电机水里泡了几个月的时间,启动电机就启动不了了,是不是电机烧了呢?
    发表于 12-11 06:39