如何用神经网络估计某一新项目的CTR值，同时如何顾及不确定性的水平

在上一篇文章中，我们介绍了不确定性的种类，并且学习了几种方法对其建模。现在我们要讨论如何在应用中使用它们。

在这篇文章中，我们会提出“探索-利用”问题，向大家展示不确定性能如何帮助解决这个问题。我们将重点关注对推荐系统的探索，但是同样的想法可以在很多强化学习应用中使用，例如自动驾驶汽车、机器人等。

问题概述

推荐系统的目标是推荐用户可能感兴趣的内容。在我们的网站，会通过点击量看用户的喜好，我们会展示出一个小部件，其中包含内容推荐，如果用户想看其中的内容，他们会点击。

用户点击某一内容的概率称为点击率（CTR）。如果我们知道所有内容的点击率，那么如何选择内容进行推荐就很容易了：推荐CTR高的内容。

但问题是我们不知道什么是CTR时怎么办。我们有一个模型可以估计它，但很显然结果并不完美，其中的愿意就是推荐系统中蕴含的各种不确定性，我们在上一篇文章中已经总结过了。

探索 vs 利用

假设你走进了一家冰淇淋商店，要从30多种口味中选出一种喜欢的。你也许会选择曾经尝过的最好吃的味道，或者探索一种从未尝过的新口味，也许会发现惊喜。

这两种策略就是“探索”（exploration）和“利用”（exploitation）。我们可以利用已知的有较高CTR值的项目，或者也可以探索其他新的项目。将探索加入到推荐策略中是非常重要的，不然的话，新内容无法得到曝光。

探索方法

你能使用的最简单的“探索-利用”方法就是ϵ-贪婪算法，其中将ϵ作为随机选择某个新内容的概率，剩下的概率用来对其进行利用。

尽管并不是最优法，这种方法非常易于理解。它可以作为其他复杂方法的基本标准，那么如何用更好的方法寻找优质内容呢？

另一种高级的方法称为Upper Confidence Bound（UCB），它利用了不确定性。每条内容都与它所期望的CTR以及CTR周围的置信上限（confidence bound）。置信上限可以表示我们对该项目的CTR不确定的程度有多大。普通的UCB算法通过实证信息记录CTR和置信上限：我们会跟踪记录每个项目的实证CTR，同时通过假设二项式分布计算置信上限。

仍然是上面的冰淇淋店的例子，假如你每次必点的是巧克力口味的冰淇淋，你给它打8分（满分10分）。今天店里推出了新口味，你不知道它是什么味道（缺乏实证信息），这也就意味着它可能是1到10分之间。利用这一置信上限，如果你想尝试探索，那么就可以尝尝，因为这种口味有可能是10分。

这就是UCB的原理——你先选择有最高UCB值的项目，在我们的案例中就是CTR的置信上限较大的项目。随着时间的发展，假设的CTR会逐渐变成真值CTR，置信上限会缩小到0。经过足够的时间，我们就能探寻所有项目了。

另一个流行的方法是汤普森采样法（Thompson Sampling）。在这种方法下，我们用该项目的CTR完全的估计分布而不是置信上线。对每个项目，我们都会从他的分布中采样一个CTR。

这种方法也许在数量固定的项目上表现得很好，但不幸的是，我们的Taboola网站每天都有上千个项目更新，当我们得到了某一个可能的置信上限后，项目可能就离开系统了。

所以我们需要一种方法能计算从未见过的新项目的CTR估值。

假设现在来了一种新的巧克力味冰淇淋，因为你之前非常喜欢冰淇淋，所以你觉得这个应该也不错。在普通的UCB方法中，你仅仅用实验信息是无法推断出这一结论的。

在接下来的文章中，我们会详细解释如何用神经网络估计某一新项目的CTR值，同时如何顾及不确定性的水平。利用不确定性，我们可以应用UCB方法探索新项目。

在线尺度和结果

那么，我们怎样才能知道自己探索的新项目如何呢？这时候就需要用测量方法对探索结果进行评估了。在Taboola，我们用的是A/B测试。

回到冰淇淋的问题，我们假设你带了一个朋友，他可以帮你探索新口味，很显然如果你的一位朋友随机挑选了一种口味，他可以确切地知道这种口味好不好，但这却不是最聪明的方法。之后，另一位朋友也点了别人觉得好吃的口味，那么他的尝试是没有意义的。

在Taboola网站，我们用以下方法测量探索结果：对每个经过多次展示的项目，以及出现在多个不同语境下的项目，我们认为已经经过了探索阶段。之后，我们会分析那种模型能够生成成功的结果。为了计算，模型必须多次展示该项目。

利用这一方法，模型的输出就是该项目被判断的次数。

利用这一方法，我们可以认为，随机展示项目可以生成最佳结果，没有用UCB方法的模型却也展示出良好的项目，但不会生成好的结果。于是，我们认为我们的UCB模型在探索新项目和选择好项目之间做了平衡，从长远来看这种取舍是值得的。

结语

“探索-利用”问题对很多公司的推荐系统来说都是重要的挑战，我们希望这篇文章能为从业者提供帮助。在接下来的文章中，我们将具体详解估计CTR和不确定性的模型，敬请关注！