“人工智能”（AI）引入到广电“智慧家庭”的重要性

3月24日上午，在“CCBN 2018”的“智慧广电峰会”上，中国广播电视网络有限公司业务部经理毛卫兵作了报告《以“人工智能”引领广电“智慧家庭”平台建设》，分析了把“人工智能”（AI）引入到广电“智慧家庭”的重要性；总结了Comcast、NHK、BBC等国外部分主流广电企业在“智慧家庭”领域应用AI的情况，并分析了相关有益启示；在此基础上，介绍了中国广电宽带电视平台的发展现状，并对平台接下来的AI应用进行了四大方面的思考。

图为：中国广播电视网络有限公司业务部经理毛卫兵

毛卫兵首先分析，“广播电视智慧化”是今年CCBN的主要议题之一，建设“智慧广电”将是行业在今后很长一段时间的重大任务，这是一个庞大的系统工程，涉及广播电视内容制播、分发传输、接收播放等主要环节，但最终落地还是在于“智慧家庭”。从国际上的发展趋势看来，人工智能技术开始被越来越多地应用到“智慧家庭”领域。

一、人工智能是行业打造“智慧广电”的“重要抓手”

建设“智慧广电”已上升至广电行业发展战略层面。2015年3月25日，时任国家新闻出版广电总局副局长聂辰席在CCBN主题报告会上首次正式提出“智慧广电”的概念，明确提出“广播影视要把加快构建‘智慧广电’作为转型升级的重要目标”。2017年1月3日，聂辰席局长在全国新闻出版广播影视工作会议上的讲话中把“智慧广电”战略纳入深化新闻出版广播影视供给侧结构性改革的总体安排之中。

建设“智慧广电”是广电网络必须完成的国家任务。“智慧广电”的本质是通过高度融合新兴信息技术与广播影视既有优势，推动广播影视全业务、全流程、全网络从“功能”向“智能”升级，从“数字化”向“智能化”创新转变。2016年12月19日，国务院印发的《“十三五”国家战略性新兴产业发展规划》中明确提出“加快构建下一代广播电视网，加速全国有线电视网络的‘智能化’升级改造”。

建设“智慧广电”的潜在重要抓手之一是人工智能。2017年9月20日印发的《新闻出版广播影视“十三五”发展规划》，提出到2020年争取实现的发展目标之一是“智慧广电”战略得到全面推进，并提出“加强人工智能在广播影视领域应用的研究”。2018年1月初，聂辰席局长在全国新闻出版广播影视工作会议上，提出“加强科技创新，推动人工智能与广播影视有机融合”。

综上，“人工智能”一词首次出现于行业发展规划文件和高层领导讲话分别是在2017年9月与2018年1月。毛卫兵指出，由此可见，对于国内广电网络而言，“人工智能”（AI）是一个非常新的领域，且广电网络须积极探索对于AI的高效应用。

“智慧广电”的最终应用落地点之一在于“智慧家庭”，把AI应用于广电“智慧家庭”，将提高现有电视业务及未来智能家居业务的性能，逐步实现广播电视“智慧化”。但是如何用？怎样用？

对于这些关键问题的探索，接下来，毛卫兵先介绍了国际上部分主流广电企业的AI“智慧家庭”应用情况，并总结分析；然后结合AI关键技术的成熟度现状，对AI在“中国广电宽带电视平台”的应用进行展望。

二、国外部分主流广电企业在“智慧家庭”领域应用AI的情况分析及启示

1、美国Comcast

以“媒体+技术”为发展定位的美国第一大有线电视网络及固网宽带运营商Comcast，近年来一直在探索实践AI关键技术在其“智慧家庭”平台的应用，并不断优化AI应用效果。

2015年，Comcast面向其有线电视用户推出“X1语音遥控”产品的第一版，并在后续不断通过迭代实现性能增强、功能新增，极大程度优化了用户的“用电视”体验，得到了用户的广泛认可，迅速成功获得大规模市场推广。毛卫兵介绍，截至目前，该AI产品已发展约2000万家庭用户，每个月收到的由用户发出的语音指令已高达约6亿条，从而成为Comcast最受用户欢迎的产品之一。

近期，Comcast又推出“X1语音遥控”产品的最新版，由于其在前期产品的语音识别技术中新增采用深度神经网络技术，且使用了比之前更丰富的用户数据对AI算法模型进行了更好的训练与优化，语音交互的反映速度、精准程度均大为提高。

而且，基于对两年多来数千万用户的“X1语音遥控”产品使用行为的大数据分析结果，Comcast刚推出的最新版X1语音遥控器（如下图所示）有一个重大改进：把语音交互按键移至离遥控器底部的38.2%处（黄金分割点），而且位于所在行的正中间，这样就使得用户随手拿起遥控器时，大拇指刚好就触及语音交互按键，以方便用户单手即可操作语音交互。从这一改进方式可见，“AI语音”已经成为Comcast有线电视用户在看电视时进行人机交互的一大重要方式。

Comcast的人工智能应用研究（AIAR）团队还综合采用自然语言处理（NLP）、计算机视觉、深度学习/深度神经网络等人工智能关键技术来优化有线电视用户的观看体验，比如更精准地自动预测用户可能要看的电视内容并进行“个性化”推荐，又如及时预测用户端可能出现的故障并远程自动修复以减少工程师“上门服务”的次数。同时，Comcast的AIAR团队正在研发基于AI的用户流失预警系统，开发基于深度学习的AI算法，整合用户的历史“海”量数据，通过对用户基本状态属性与历史行为属性等数据进行深入分析，提炼出已流失用户在流失前具有的特征，据此建立用户流失预警模型。

另外，Comcast也开始探索把AI的应用领域从上述的“人工智能电视”拓展到其智能家居“Xfinity Home”系列产品之中。2017年12月，Comcast把支撑其最新版“X1语音遥控”产品的深度神经网络等AI关键技术，应用到其“Xfinity Home”的家庭监控产品，并新增采用计算机视觉这种AI关键技术，向用户推出“家庭AI安防”服务。毛卫兵介绍，目前，该产品的功能“亮点”在于，可以及时识别用户住房周围的一切具有运动状态的场景，并判断、理解相关活动是否具备潜在的安全风险，如果“是”，则自动剪辑相关视频片段并及时将其发送给用户的手机APP进行提醒与告警。相关界面下图所示：

2、日本NHK

NHK也在大力研发面向广电“智慧家庭”的AI应用。

为了让有线电视用户实现“智能搜索”，NHK研发了基于语音识别、文字识别、图像理解等AI关键技术的电视视频精准搜索技术。比如，用户通过语音向电视机发出指令“我想看看这场球赛半场时的得分情况”，系统就会让电视机上播放的视频回放或快进到显示分数的视频画面片段（而且在这种片段，解说员也会口头播报比赛双方的得分情况）。NHK的这种电视视频精准搜索技术在具体实现上，主要是先理解用户通过语音发出的搜索需求，并通过已经训练好的AI算法模型，将其与电视视频各帧画面上叠加的文字内容进行比对、定位。其中基于图像理解、文字识别等AI关键技术的视频检索流程如下：

从诞生之日起，电视就是一种很好的社交工具，而且相比只有自己一人单独看电视，与多个人在一起看电视时的感觉是很不一样的，比如可以实时就电视里的内容聊天等。了解到这一市场需求后，近期，NHK推出一款商用化的“电视陪看机器人”（如下图所示）。

这款“电视陪看机器人”就可以让一个人在独自看电视时“不再孤单”，达到与多个人在一起看电视时的效果。比如，机器人与人一同看电视，遇到有趣的电视内容时，就会转向人，发出笑声并舞动手臂；又如，当人问机器人电视画面中“那座山叫什么名、有何特色？”“这个演员最近有没有出什么新片？”“现在两个球队的得分情况怎样了？”时，机器人就会转向人并迅速作答。“电视陪看机器人”的应用场景示例如下图所示：

由此可见，“电视陪看机器人”采用了多种AI关键技术，包括图像识别与理解（传感器是内置于机器人的摄像头，用于观看电视画面，并观察自己陪着看电视的人所处位置与表情）；语音识别与理解（用于收听电视中的音频内容，并收听自己陪着看电视的人所发出的语音指令）；语音合成（用于及时生成机器人的“说话”内容）等等。“电视陪看机器人”的整个工作流程如下图所示：

此外，“电视陪看机器人”只是NHK所研发的“Hybridcast Connect X”的应用之一。“Hybridcast Connect X”是一个可以把电视内容与用户日常生活“连接”起来的AI平台（其用户终端为可以安装于智能手机的APP），其中的“Hybridcast”指的是日本的广播/宽带混合型电视，“Connect”即“连接”，“X”所代表的是每个电视观众的日常生活活动。当初，NHK之所以要研发“Hybridcast Connect X”平台，就是由于其通过前期调研发现，电视中所播放的内容会对人们的日常生活产生非常大的影响。那么，如何把电视内容通过最新技术手段与看电视的人的日常生活活动联系起来？下面的示例图就很形象地做出了诠释：

上图中有很多“Hybridcast Connect X”的应用方式，比如：

应用示例1：安装于智能手机的“Hybridcast Connect X”APP，可以通过一种名为“APP到APP通信”的技术，自动收集用户在该手机上安装的其他社交类APP、视频类APP的行为数据并将其上传至“Hybridcast Connect X”平台，以此分析出用户最有可能想观看的电视或视频内容，然后把推荐结果发送给用户的“Hybridcast Connect X”APP，用户选中其中的某一条视频后，可以选择立即通过大屏电视观看，也可以预约通过大屏电视观看的时间。这种“智慧化”的交互，往往会给用户带来惊喜，而且对于给电视大屏“引流”也很有好处。

应用示例2：当平台发现用户正在家里认真观看美食节目时，就会发送一个通知给用户的“Hybridcast Connect X”APP，询问其是否自己也想做节目里的美食，如果用户点击了“是”这个按钮，平台就会自动与用户家里的智能冰箱通过无线物联网技术连接起来，并把美食节目中的菜单与智能冰箱里的食材进行比对，然后把相关结果发送给用户的APP，对于其中缺少的食材，用户还可点击“送货上门”，然后线下的商店就会在预约的时间内把食材送到用户的家里。

应用示例3：“Hybridcast Connect X”平台还可以与电视用户使用的汽车导航系统相连接，所以很容易感知到电视用户是否正在开车。然后，“Hybridcast Connect X”平台会把汽车所在位置的实时周边信息与电视用户平时观看电视的行为记录结合起来进行实时计算比对，并把结果发送给用户汽车上的导航系统，导航系统再进行语音合成（生成语音），并把结果告诉给用户，通过这种方式为用户提供自动化的智能推荐服务。比如，导航系统用语音向用户反馈“Hybridcast Connect X”平台的推荐结果：“就在离我们3公里处，有您最近正在追的那部电视剧里的一个外景取景点，您现在是否要过去看看？”如果用户通过导航系统的触摸屏选择了“是”，导航系统就会迅速重新规划路线。另外，如果电视用户的车安装的是可以进行语音交互的导航系统，“Hybridcast Connect X”平台还可以提供更好的“连接”体验，NHK正在进行研发。

3、英国BBC

在去年10月的“IBC 2017”，BBC展示了其自主研发的“语音交互界面（UVI）”原型产品（如下图所示），这是BBC科研项目“与机器说话（Talking with Machines）”的研究成果之一。

此前，BBC通过调研发现，大多数用户认为在看电视时与电视进行语音交互会很方便（比如在搜索电视内容时），但是，传统的语音交互存在时延较大、结果精确度不高等问题，从而，BBC决定研发基于自然语言处理（NLP）这一AI关键技术的新型人机交互，在2016年正式启动上述研发项目。

毛卫兵介绍，在这一过程中，BBC的一大创新之处在于，“借势”互联网巨头的智能音箱产品。众所周知，从2015年至今，“智能音箱”市场迅速升温，广受市场欢迎。互联网企业巨头以智能音箱为语音入口，以“语音识别”这一AI关键技术为基础，提供基于语音交互的互联网内容搜索服务，试图成为“OTT内容服务的集成入口”。国外典型的智能音箱产品如亚马逊的Echo、谷歌的Google Home、苹果的HomePod、微软的Invoke。BBC对于这些智能音箱产品的“借势”体现于：开发一款与具体是哪个厂商智能音箱产品无关的通用型软件，迅速集成到各热门品牌的智能音箱产品中，使得用户可以通过语音交互的方式快速、精确搜索到自己感兴趣的BBC电视节目与BBC广播电台音频内容。

4、总结

在介绍了Comcast、NHK、BBC等国外部分主流广电企业在“智慧家庭”领域应用AI的情况后，毛卫兵作了总结分析：国际广播电视行业主流企业对于AI在“智慧家庭”的应用，目前以“语音交互”为主，以蓝牙语音遥控器（Comcast）、远场拾音设备（NHK与BBC）为物理载体，为电视用户提供电视播放进度控制、内容精准深度搜索、个性化内容精确推荐、日常生活便捷服务等。另一方面，放眼全球整个AI产业，“语音交互”是AI的三大主要应用领域之一。综上，在广电“智慧家庭”领域探索规模化AI语音交互的条件已经具备。

另一方面，AI本身并不具备销售价值，其真正价值体现于：嵌入AI后，广电“智慧家庭”中各类电视产品、智能家居产品具备新特性、新功能，使原有产品提供更好的且越来越好的用户体验，从而具有更大的市场竞争力。

因此，广电“智慧家庭”应用各种AI关键技术，除了要仔细研究哪些是主流、较为成熟的应用场景（比如“语音交互”），还要大力建设电视/视频内容与产品、发展智能家居实用解决方案，同时探索把AI元素嵌入其中。“现在就简要的向大家介绍一下我们在这方面的实践以及对后续发展的思考。”毛卫兵说到。

三、“中国广电宽带电视”平台建设现状及个人对AI应用的思考

毛卫兵介绍，目前，中国广电正在加快推进“中国广电宽带电视”平台的建设。“中国广电宽带电视”是基于广电网络的互联网电视，所以就既区别于各升级广电网络企业目前主要运营的有线数字电视业务，也区别于IPTV、互联网电视，是依托全国有线电视互联互通平台、面向“三网融合”、引领全行业发展的创新业务。

宽带电视业务总平台的发展目标是通过对音视频内容、数字出版物、各类服务应用等内容资源的集成、加工与开发，向用户提供视听类、应用类、体验类等个性化融合型产品，目前包括直播频道集成平台、内容加工制作平台、内容集成平台、内容交易平台、应用集成平台、智慧家庭平台、创新体验平台等七大平台，在建设过程中遵循五大原则：一是媒体融合原则。推进全国广电节目的新媒体化、互联网化；二是网络融合原则。推进广电视频业务、宽带业务与移动业务的结合，满足广大用户的“一站式”服务需求；三是生态圈构建原则。开门办平台，汇聚行业精品业务，推动实现全网、全业务、国际化运营；四是市场化原则。立足市场需求，推动“平台、渠道、终端”一体化，确保业务链条通畅、商业模式科学；五是差异化原则。提供内容优质、特色鲜明、智能化、个性化的业务，在提升用户体验方面做出突破。

毛卫兵介绍，目前，涉及到人工智能应用的有“创新体验平台”与“智慧家庭平台”。“创新体验平台”以全面提升用户体验为导向，采取大数据分析、人工智能、4K超高清、VR、裸眼3D等前沿技术，为用户提供各类创新型体验类产品。此外，“智慧家庭平台”以智能终端（IP智能机顶盒、电视棒）等为终端，以有线无线融合家庭网络为“桥梁”，对家居生活关联的大屏（包括电视机屏，计算机屏等）、小屏（包括手机屏，PAD屏等）和微屏（包括家电屏、家居设备屏）等屏幕进行互联互通，以期实现用户家居生活的智能化、智慧化。

人工智能在此处的应用，目前主要是以电视遥控器和智能终端为载体的“语音助手”，方便用户通过“语音交互”的方式进行个性化的电视播放控制、电视/视频内容搜索与系统自动推荐等。毛卫兵介绍，相关应用尚处于初级阶段，对人工智能在上述两个平台的应用，下一步发展有如下思考：

一是实现AI语音交互方式的多元化。主要有两种方式：蓝牙语音遥控器、内置远场拾音功能的智能机顶盒。前者属于近场式的语音交互，需要用户靠近遥控器的麦克风说话（造成用户的体验不是很好），而且功耗大（需要遥控器较频繁地充电或更换电池。遥控器电量减小到一定程度时，语音识别的准确率会降低从而影响用户体验），但成本较低。后者属于远场式的语音交互，用户离较远距离也可以直接对机顶盒“说话”以向其发出语音指令，从而真正“解放”了双手（从而具备更好的人机交互体验），但对机顶盒硬件性能的要求更高造成成本较高。可见，这两种方式各有优劣，可面向低、中、高端不同人群灵活部署。另外还有一种备选方式，即“借势”目前市场上热卖的主流“智能音箱”产品（比如阿里的“天猫精灵”、京东的“叮咚”、小米的“小爱”、喜马拉雅的“小雅”等），研发通用型的集成相关AI算法的软件，并对接集成于其中，方便这部分中高端用户以语音的方式实现与有线电视内容、产品、应用的高效交互。

二是实现AI语音交互功能的多元化。AI语音除了用于与有线电视进行高效交互，实现播放控制（快进快退重播等）、语音方式的节目导航、点播内容搜索、电视回看、用户精细画像与个性化内容精准推荐等，还可进一步应用于对智能家居产品的控制。截至目前，国内运营商的智能家居业务以提供家庭网关为主，尚未推出智能家居平台，造成接入到网关的用户家里的智能家居设备彼此之间相互独立无法联动。“所以，对于广电“智能家居”平台后续的建设发展，我个人有一个思路：一是在平台层面，探索建立融合有AI语音交互功能的智能家居平台，并与市场上主流的智能家居产品甚至互联网企业的智能音箱产品进行对接（探索于平台层面实现用户对智能家居产品“碎片化”现象无感知，从而极大提升用户体验）；二是在应用层面，探索基于AI语音的可以实现线上与线下“无缝”融合的智能家居业务，同时探索打通智慧家庭、智慧社区、智慧城市，让用户的日常生活变得越来越美好，比如探索发展基于AI语音的家庭“智慧医疗”；三是在终端层面，可以研发类似于智能音箱的终端，也可以直接采用具有语音交互功能的智能电视机顶盒作为智能家居的网关。”毛卫兵作了详细分析。

三是实现应用AI关键技术的多元化。目前，语音识别与理解、图像识别、视频理解等都是较为成熟可用的AI关键技术，对于增强广电“智能家居”平台的性能具有潜在的重大作用。以我们的一款产品“视信”为例，如果在其中嵌入AI元素，用户体验将会得到质的提升，比如，我对着蓝牙语音遥控器或者AI语音智能电视机顶盒说要和某位朋友视频通话，系统就会自动打开电视，调出“视信”客户端，在电话簿中选择对方号码后自动呼出视频通话。第二个例子是当某个用户家里的小孩打开电视机时，系统会自动调用摄像头对其进行人脸识别，然后根据其平时的观看行为记录，自动生成个性化的电视界面，比如里面会在主要位置展示该小孩上次还没看完的动画片，在其他位置展示由系统自动推荐的动画片。另外，如果实现“AI+家庭安防”有机结合，就可及时预判视频内容中存在的突发危险因素，比如家里有老人跌倒，自动对相关视频片段进行截取并发送到子女的移动APP；如果老人身上还戴有实时监测体征参数的智能可穿戴设备，系统还会联动分析，如果分析的结论表明情况紧急，还会及时自动上报“120”系统等。

四是实现端到端的AI关键技术应用。所谓的“端到端”，指的是“中国广电宽带电视平台”从内容集成编辑、内容审核上线、内容分发传输、内容在线运维、网络信息安全、客户服务入口、内容搜索播放、精准营销变现等关键环节。在确保“绝对安全”的首要前提下，这些环节都具备通过引入相关AI关键技术提高工作效率、降低运营成本、优化用户体验、增强使用黏性的巨大潜力。

毛卫兵最后分析，AI在广电“智慧家庭”领域有着广阔的应用前景，但是也应该看到，在进行AI应用实践的过程中将会遇到很多新的问题。“愿行业携手共进，开创“智慧广电”的美好明天！”