百度云打造智能媒体全流程方案,人工智能在流媒体领域的应用 - 全文

人工智能正加速改变各个行业，而流媒体领域可能是其中改变最快的一个。随着神经网络相关算法问题得到解决，人工智能技术在最近几年得到了快速的发展，而人工智能技术在流媒体领域的渗透，使这项技术获得了新的突破。当下图片、长视频、短视频、直播、AR等各种媒体形式占据着互联网圈，在媒体内容和形式都非常丰富的今天，如何辨识、解析这些内容，并通过人工智能反馈是目前所有科技巨头关注的焦点，其中图像识别、语音语义识别、同声传译、字幕识别等应用场景的进一步挖掘，需要人工智能大战拳脚。

百度云智峰会在北京举行，天闻数媒科技有限公司与百度云正式签订传媒行业的战略合作协议。依托天闻数媒在媒体行业的深度积累，百度在人工智能领域的领先技术，天闻数媒为本次战略合作专门设立子公司“天江智媒科技（北京）有限公司”。双方将合力打造智能媒体全流程解决方案，将人工智能应用拓展至传媒行业。

智能辅助写作，让记者做更擅长的事情

国家发改委发布最新油价调整通告，写稿机器人立马监测到新闻线索，随即抓取通告中的关键信息，迅速整理出一则图文消息，整个过程只用了数十秒的时间。这是百度云智峰会天江智媒展区所呈现的内容。

“机器人根据公告写新闻，在新闻界早已经有应用，已经是大势所趋。”天江智媒董事长肖志彦介绍，对于新闻界来说，会写简单新闻的机器人，能够为记者免去大量基础工作。百度在人工智能领域有着深厚的积淀，这次合作将充分发挥双方的优势。

目前天江智媒的智能写作机器人能够整理出多种类型的文章，例如财经新闻、旅游攻略、美食推荐等等，并且能够根据不同的文章类型，自动提供不同类型的配图。但是，这只是天江智媒的一个“小目标”。

“机器人能够写一些简单的稿件，但是这并不意味着它可以取代记者。”肖志彦说，智能写作更大的应用场景，在于为媒体从业者提供一个强大的智能辅助写作工具，让他们从纷繁复杂的基础工作解脱出来，投入更多的精力到深度写作中去，这恰好是他们最擅长的事情。

肖志彦眼中的新闻智能写作，不仅仅是提供新闻写作的智能机器人，而是这一产品的升级版——结合人工智能、机器学习、大数据等核心技术，在新闻生产的策划、采编、发稿的全流程中，为新闻从业者提供辅助支撑。从而将新闻从业者从传统的新闻生产方式中解放出来，使他们结合机器撰稿的优势，进行更有创造力的工作。

具体来说，通过智能辅助写作系统，媒体从业者可以找到适合的选题，也能够找到稿件素材、标题推荐，甚至能够自动生成参考稿件，为记者进一步撰稿提供辅助。

“新闻媒体行业应用这些前沿技术打造智能辅助写作平台，是行业发展的必然趋势。”肖志彦说，随着人工智能等技术的发展，新闻智能辅助写作将发挥更大的价值，通过先进技术与新闻生产业务的结合，它为传媒业提供了转化传统思维、优化采编流程、深化内容结构的最佳路径。

智能媒体云，助推行业转型升级

此次百度云智峰会 “视频智能技术与平台”分论坛中，天闻数媒媒体业务部总裁韦宇鹏展示了基于人工智能的“天江智能媒体云”解决方案。

韦宇鹏介绍，依托云计算、大数据、人工智能等先进技术，“天江智能媒体云”能够有效推动传统媒体采编流程优化、内容质量提升、传播方式创新以及服务模式拓展。

在资源层面，“天江智能媒体云”的智能媒资库产品能够帮助媒体对内实现资源的统一、标准化管理，对外进行知识化、运营化、资产化的深度应用。

在生产层面，通过热点发现、智能写作、智能勘误以及智能发布4大产品，助力新闻生产策、采、编、发的全流程。

在发布层面，通过用户洞察、智能推荐、传播分析、评论管理、运营分析、智能语音助手、视觉呈现等一系列服务帮助媒体提升用户体验，并对传播及运营效果进行监测。

在增值层面，通过在营销、舆情监测以及行业洞察等3个方向的尝试，帮助媒体实现价值转化。

目前，天闻数媒及天江智媒已为国内众多中央级出版传媒单位、政府机构及地方传媒集团提供专业的服务，在媒体行业拥有多年的深度积累。肖志彦表示，公司后续将持续加大投入，深耕传媒行业，引入互联网创新机制与思维，打造涵盖内容生产加工、立体化传播发布、个性化增值服务的全方位融合服务集成体系，构建一体化协同发展的文化传媒生态圈，助力行业客户持续创造价值和转型升级。

浅谈人工智能在流媒体领域的应用

数据是人工智能的基础

数据是人工智能技术实现的基础，在UCloud平台中，数据处理是如何操作的呢？首先，我们我们的对象存储、直播云、媒体工厂每天会产生大量的原始数据，比如对象存储每天新增的图片会超过10亿张，但是这些原始数据并不一定是对计算机友好的，例如直播数据，里面有传输的协议、音视频的交错，还有各种编码在里面，这样的原始的数据对机器学习来说是不友好的。我们就需要预处理的平台对原始数据进行处理，譬如图片压缩、音频提取与声道、采样率归一化、视频的抽帧等，这些预处理的功能目前采用docker镜像部署的方式跑在我们的弹性计算平台上，目前有超过10000个虚拟节点在做这个事情。

仅有数据还是不够的，我们需要对数据打上标签，让计算机知道这个东西是什么，然后它通过数据标签去训练和想学习，认识这一类的事物。目前打标签有多种形式，如人工标注、关键字主动抓取等，对于难于标注的语音类的数据，我们也会购买第三方的数据。数据是人工智能的基础，未来在人工智能这个领域，数据层面的竞争将会非常激烈。

机器学习解决哪些问题？

人工智能的另外一个重要环节机器学习，它解决的主要是两类问题，一是分类，二是回归。

分类目前应用得比较广泛，也相对成熟一些，如图片的分类，给出一张图片，识别这个图片是小猫还是小狗；或是对文字内容的分类，比如让计算机去分析一篇文章到底是体育类的还是经济类的等等。回归则是数学的概念，它处理的问题也是偏数学方向的，输入和输出都是数字类型的。据了解，目前有些团队在做类似股票预测的场景，像这种场景依赖的变量非常多，而且本身系统非常复杂，难度比较大。

分类功能在媒体领域的应用

在当下这个内容为王的时代，分类和回归在媒体方面的应用十分广泛，如内容审核、人脸识别、自动标签、字幕识别、同声传译等。

【内容审核】

目前大多数的内容平台对用户都是开放的，用户可以上传图片、视频等。开放本身是好事，使得内容更加丰富，但会涉及到很多网络监管问题，在国家和政府对网络内容的监管要求越来越严格的背景下，很多内容平台公司会专门成立内容审核部门，采用人工审核的方式，对用户上传内容进行全量审核。这项工作如果完全依赖人力审核的话是一项巨大的工程，且审核团队的工作枯燥乏味。

目前UCloud的UMAI平台支持图片与视频的涉黄、暴力等内容识别，通过调用UMAI接口来对内容做预处理，可以将占比为绝大多数的正常内容过滤掉，而只留下极少数判定为疑似不健康的内容，需要审核团队进行进一步的复查，这样极大的减少了人工审核的工作量。

【人脸识别】

人脸识别现在在人工智能这块应用较为广泛，如身份认证、手机刷脸、系统登录等；另外是人脸的搜索，比如在一段视频里快速确定有没有出现某个关键人物，或一个图片集里有没有包含这样的人。人脸识别主要的流程一般如下，首先对这个图片进行人脸的检测，然后提取关键点，包括眼睛、鼻子、嘴巴、耳朵、轮廓等，切分处理以后，再给到卷积网络提取特征，最后再做人脸识别，目前我们在公司考勤、政治任务识别方面已有相关的应用。

【自动标签】

针对用户自主上传的图片，自动标签则发挥出重要作为。用户在上传图片的时候，往往只会标注一到两个关键词，对图片进行描述，而图片里边包含的大量其他的内容和信息，是没办法检索出来的，因为现在很多后台的搜索是基于关键字的。通过计算机视觉的场景识别功能，可以很好的将图片的隐藏信息挖掘出来，让图片有更多的关键字，能够被更多的场景检索出来，发挥其作用。

【字幕识别】

字幕识别的应用非常直接而实用，例如身份证、发票、名片的识别，可以减少手写录入的工作量，而类似视频字幕识别这种，则可以帮助计算机更好地去理解视频的内容。

【同声传译】

目前国内企业出海风潮正盛，利用人工智能实现同声传译可以帮助跨国公司、员工进行不同语种间的交流。在视频直播这一块，我们做了这样的系统，可以在视频直播传输前，把里面的音频提取出来，做切片处理以后，把语音识别出来，经过翻译系统后输出字幕并打上时间戳，播放终端拿到字幕和视频数据后，做一次时间戳同步，在播放端进行展示。

这个系统主要有两个难点：一是它是经过了两次计算机的识别，第一次是语音的识别，第二次是翻译，这会有一个误差的累积；二是这种场景的实时性要求比较高，比如说字幕的翻译有点滞后，视频数据又需要比较低的延迟，这样体验会非常不好。这也是这款产品正在优化的两个方向。

人工智能私有化部署应用

以上提及的是聚焦于公有云平台的人工智能的应用，而我们在跟很多客户的交流中，因为政策以及保密的原因，他们不希望将数据放到公有云上，在他们内部也有不少服务器、视频采集设备等硬件资源，希望能够直接利用上。针对这样的需求，我们会建议使用私有化部署的方案。

UCloud平台做了两件事去实现私有化部署的方案：第一是组件化，我们内部有很多功能，比如直播、存储、录制、截图等，我们将这些功能剥离开，做成各种组件的形式。这样有一个好处，组件可以灵活搭配，用户需要什么功能就部署什么组件，如果对某些功能有个性化需求，只要简单修改对应组件的功能就可以了。第二是我们提供训练好的模型，部署到客户的私有环境中，目前这个模型是在我们公有云上训练好的。

私有化部署在自动考勤系统等场景已经有成熟的应用，我们也在不断挖掘更多可应用的场景，希望运用人工智能技术让我们的工作更便利、生活更美好