大数据和人工智能对海量用户行为数据的深度分析和挖掘的方法浅析

随着电视智能化程度的提升越来越多的智能电视服务商成为了互联网流量的一个新的入口，智能电视服务商积累了海量的用户在影视、音乐、游戏、应用、教育及生活消费等各个方面的数据，广告是智能电视运营服务商将流量变现的一种通用商业模式。本文主要讲述如何利用大数据和人工智能相关的技术通过对海量用户行为数据的深度分析和挖掘，将数据挖掘的成果应用到广告的售卖、投放中，用大数据和AI的相关技术实现广告竞价售卖、精准的广告投放、预测广告的投放效果、控制广告投放成本、提高流量的变现能力。

智能电视广告的背景和市场

智能电视广告是依托智能电视平台，结合人工智能和大数据技术将不同品牌和服务信息以广告的方式精准投放给具体的受众。相对于传统电视、移动互联网广告，智能电视广告其独特价值体现在：

1）受众体量大、价值高。根据勾正数据分析到2020年国内智能电视存量超过2．8亿台，占市场比例近60％，智能电视用户群体量级巨大、智能电视用户集中在25－45岁最具备消费能力，最有价值的核心消费层，而传统电视用户则集中在中老年及偏远的乡村。从整体用户属性看，智能电视用户更集中在高收入、高学历、消费能力强的家庭人群上。国内智能电视监测领域布局最早的数据技术公司，AdMaster发现，针对智能电视平台的广告投放正在快速增加，2017年第二季度，CTV广告曝光量同比增长639％，投放CTV广告的广告主数量同比增长97％、CTV广告项目数量同比增长356％。

2） 广告展示效果好。智能电视大屏幕、高分辨率的视觉体验可以使广告展示更精致，体验也更加直观，接受度更高，冲击力强、大屏幕有利于品牌广告的传播，同时智能电视上的广告支持高清视频、高清图片、动画等多种方式且具有交互性。

3） 场景独占。智能电视新型交互方式使用户在享受视频娱乐的同时，趣味性接受广告传播，用户注意力集中，广告具有独占性，记忆度高的特点，能够快速捕捉用户的视线，可快速形成品牌意识。

4） 完整的营销闭环、具有互联网的属性。传统电视多是单向推送，少量升级为双向网络后依然互动性不强。而智能电视不仅可以看视频，还可以在看视频的同时参与投票、抢红包、跨屏互动，玩游戏，下载应用以及直接在线完成购买，构建了从广告曝光、互动、购买到分享等的一整套营销闭环。

计算广告的定义及在智能电视上的应用场景

智能电视运营商掌握了智能电视流量的入口并收集入海量用户的行为数据，因此计算广告在智能电视上具有天然的应用场景和独特价值。通过对智能电视的分析和了解，梳理了智能电视上可投放广告的应用场景如下：：

开机启动画面、待机屏保画面、关机画面；

基于播放器的广告（如：贴片、暂停等）；

基于遥控器控制的广告（如：音量、频道、菜单等）

基于大屏智能APP的启动广告；

基于业务的深度定制广告（排行榜、猜你喜欢、智能推荐）；

基于浏览器及导航应用的广告；

基于智能电视大屏到手机小屏的双向互动广告。

大数据及AI技术在计算广告上的应用场景

场景一：基于大数据和实时计算的程序化广告交易平台

随着广告市场的成熟和竞争机制的引入，广告投放市场不断的向需求方开放，广告在售卖的产品形态上更加的精细化，除了传统广告投策略中广告主可按照已经定义好的用户、时段、区域划分来购买之外，更多的精细化的售卖方案逐渐成为主流，主要包括广告主可以自行选择流量，每次展示独立询价、出价、竞价，广告投放成本可管控，广告平台流量利益最大化的实时评测体系。因此依靠大数据、人工智能算法、实时计算能力组合而成的程序化广告交易平台成为连接广告主、广告运营商和用户之间的纽带。实时竞价广告的产生，可以让广告的售卖市场更加的透明化，通过竞价的策略实时得到广告候选，并按照广告主的出价实时完成投放决策，广告投放者对于流量的选择和控制能力达到了极致，同时程序化的交易平台可以让优质的流量利润最大化，询价、出价、成交的需求存在与流量和广告投放者预算范围内的准确套利，同时程序化的广告售卖平台提供近乎准确的广告点击率预测、点击价值估计、流量预测的优化策略与能力。

场景二：基于用户画像的精准化广告投放与推荐平台

基于大数据和实时计算的程序化广告交易平台构建了通过竞价机制解决了广告流量售卖中利润最大话的问题而基于用户画像的精准化广告投放与推荐平台主要解决如何细分流量、最大化流量效能的问题。主要通过在智能电视终端收集海量用户的行为数据，通过对用户行为的深度分析与多维度的挖掘，发现用户潜在的行为规律，细分领域上的偏好、新增特定场景上的需求。画像的内容一方面可以作为单独的广告场景售卖或者根据广告主的逻辑来划分广告用户群，另一方面可以作为精准化广告投放的依据。常用的用户画像维度主要包括如下：

计算广告的推荐系统是根据个体用户信息投放个性化内容，该系统主要包括如下内容：在线投放引擎，主要用于实时响应终端的请求完成投放执行任务；离线的分布式计算数据处理平台；在线实时反馈的流计算平台。

通过用户画像体系与推荐平台可以将广告主的广告需求快速的落地到转移到具体用户身上，实现广告投放的价值，最终一方面解决了广告主广告利益最大化的需求，另一方面解决了用户在特定领域上的需求、优化了产品体验、提高了产品的竞争力。

大数据与AI算法在用户画像及投放系统中的主要应用如下：基于大数据统计规律的用户偏好画像，基于ALS（协同过滤）召回算法，基于FP－Growth的关联规则召回、基于逻辑回归、隐因子分解机、梯度提升决策树、深度神经网络等的排序算法。

场景三：基于实时计算的广告流量和交易清算平台。

程序化的广告交易平台和广告投放与推荐平台解决了广告的售卖和流量的变现问题，基于实时计算的广告流量和交易清算平台主要用来解决售卖和变现过程中交易相关的问题，通过实时的计算，可以实时的反馈流量的售卖价值和流量的转化价值，一方面辅助经营决策者实时调整经营策略，一方面让广告投放者了解广告的投放情况、帮助其评估广告的投放效果、调整投放策略。清算平台的另一个核心功能是提高广告产品的利润，其核心的优化目标为：

（说明：a表示广告、u表示用户、c表示环境、r表示点击产出、q表示投入、μ表示预测点击率、v表示点击价值），同时清算系统需要实时判断流量来源中是否有作弊的流量，并且将这部分流量从后续的计价和统计中去掉，对于那些即将预算耗尽的广告，必须马上通知广告投放系统终止其投放计划。

AI技术在清算系统中的核心作用是求解最优化的问题，当投入q一定时，如何找到最优的投放策略，使投入的成本最小成为了终极问题。最优化的问题在数学上就是：给定某个确定的目标函数以及该函数自变量的一些约束条件，求解函数的最大或者最小值问题。常用的解决方案主要包括：拉格朗日法与函数凸优化、梯度下降算法及拟牛顿法。通过数据和算法来寻找最优化的解，制定最优的投放策略。