基于概率校准的集成学习方法

　　针对原有集成学习多样性不足而导致的集成效果不够显著的问题，提出一种基于概率校准的集成学习方法以及两种降低多重共线性影响的方法。首先，通过使用不同的概率校准方法对原始分类器给出的概率进行校准；然后使用前一步生成的若干校准后的概率进行学习，从而预测最终结果。第一步中使用的不同概率校准方法为第二步的集成学习提供了更强的多样性。接下来，针对校准概率与原始概率之间的多重共线性问题，提出了选择最优（ choose-best）和有放回抽样（bootstrap）的方法。选择最优方法对每个基分类器，从原始分类器和若干校准分类器之间选择最优的进行集成；有放回抽样方法则从整个基分类器集合中进行有放回的抽样，然后对抽样出来的分类器进行集成。实验表明，简单的概率校准集成学习对学习效果的提高有限，而使用了选择最优和有放回抽样方法后，学习效果得到了较大的提高。此结果说明，概率校准为集成学习提供了更强的多样性，其伴随的多重共线性问题可以通过抽样等方法有效地解决。