PyTorch教程10.8之波束搜索

10.8.1。贪心搜索

考虑第 10.7 节中的简单贪婪搜索策略 。在这里，随时步t′，我们只需从中选择条件概率最高的标记 Y， IE，

一旦我们的模型输出“”（或者我们达到最大长度 T′) 输出序列完成。

这个策略看似合理，其实还不错！考虑到它在计算上的要求是多么的低，你很难获得更多的收益。然而，如果我们暂时搁置效率，搜索最有可能的序列似乎更合理，而不是（贪婪选择的）最有可能的标记序列。事实证明，这两个对象可能完全不同。最可能的序列是最大化表达式的序列 ∏t′=1T′P(yt′∣y1,…,yt′−1,c). 在我们的机器翻译示例中，如果解码器真正恢复了潜在生成过程的概率，那么这将为我们提供最有可能的翻译。不幸的是，不能保证贪心搜索会给我们这个序列。

让我们用一个例子来说明它。假设输出字典中有四个标记“A”、“B”、“C”和“”。在 图10.8.1中，每个时间步下的四个数字分别代表在该时间步生成“A”、“B”、“C”、“”的条件概率。

图 10.8.1在每个时间步，贪婪搜索选择条件概率最高的标记。

在每个时间步，贪心搜索选择条件概率最高的标记。因此，将预测输出序列“A”、“B”、“C”和“”（图 10.8.1）。这个输出序列的条件概率是 0.5×0.4×0.4×0.6=0.048.

接下来，让我们看一下图 10.8.2中的另一个例子。与图 10.8.1不同，在时间步 2 中，我们选择图 10.8.2中的标记“C” ，它具有第二高的条件概率。

图 10.8.2每个时间步下的四个数字代表在该时间步生成“A”、“B”、“C”和“”的条件概率。在时间步 2，选择具有第二高条件概率的标记“C”。

由于时间步3所基于的时间步1和2的输出子序列已经从图10.8.1中的“A”和“B”变为图10.8.2 中的“A”和“C” ，图 10.8.2中每个标记在时间步长 3 的条件概率也发生了变化 。假设我们在时间步 3 选择标记“B”。现在时间步 4 以前三个时间步“A”、“C”和“B”的输出子序列为条件，这与“A”不同、“B”、“C”在图 10.8.1中。因此，图 10.8.2中第 4 步生成每个 token 的条件概率 也与 图 10.8.1不同. 因此， 图 10.8.2中输出序列“A”、“C”、“B”和“”的条件概率为 0.5×0.3×0.6×0.6=0.054，大于图 10.8.1中的贪心搜索。在本例中，贪心搜索得到的输出序列“A”、“B”、“C”、“”并不是最优序列。

10.8.2。穷举搜索

如果目标是获得最可能的序列，我们可以考虑使用 穷举搜索：穷举所有可能的输出序列及其条件概率，然后输出得分最高的预测概率。

虽然这肯定会给我们想要的东西，但它的计算成本却高得令人望而却步 O(|Y|T′)，序列长度呈指数增长，词汇量很大。例如，当|Y|=10000和T′=10，我们需要评估1000010=1040序列。与实际应用程序相比，这些数字很小，但已经超出了任何可预见的计算机的能力。另一方面，贪心搜索的计算成本是