Despite significant successes achieved in knowledge discovery, traditional machine learning methods may fail to obtain satisfactory performances when dealing with complex data, such as imbalanced, high-dimensional, noisy data, etc. The reason behind is that it is difficult for these methods to capture multiple characteristics and underlying structure of data. In this context, it becomes an important topic in the data mining field that how to effectively construct an efficient knowledge discovery and mining model. Ensemble learning, as one research hot spot, aims to integrate data fusion, data modeling, and data mining into a unified framework. Specifically, ensemble learning firstly extracts a set of features with a variety of transformations. Based on these learned features, multiple learning algorithms are utilized to produce weak predictive results. Finally, ensemble learning fuses the informative knowledge from the above results obtained to achieve knowledge discovery and better predictive performance via voting schemes in an adaptive way. In this paper, we review the research progress of the mainstream approaches of ensemble learning and classify them based on different characteristics. In addition, we present challenges and possible research directions for each mainstream approach of ensemble learning, and we also give an extra introduction for the combination of ensemble learning with other machine learning hot spots such as deep learning, reinforcement learning, etc.

中文翻译：

---

整体学习调查

尽管在知识发现方面取得了巨大的成功，但是传统的机器学习方法在处理复杂数据（例如不平衡，高维，嘈杂的数据等）时可能无法获得令人满意的性能。其背后的原因是，这些方法难以捕获数据的多种特征和基础结构。在这种情况下，如何有效地构建有效的知识发现和挖掘模型成为数据挖掘领域的重要课题。集成学习作为一个研究热点，旨在将数据融合，数据建模和数据挖掘集成到一个统一的框架中。具体而言，集成学习首先提取具有各种变换的一组特征。基于这些学习的功能，利用多种学习算法来产生较弱的预测结果。最后，集成学习将以上获得的结果中的信息知识融合在一起，以自适应方式通过投票方案实现知识发现和更好的预测性能。在本文中，我们回顾了集成学习的主流方法的研究进展，并根据不同的特征对其进行了分类。此外，我们为集成学习的每种主流方法提出了挑战和可能的研究方向，并且还对集成学习与其他机器学习热点（例如深度学习，强化学习等）的结合进行了额外介绍。集成学习将以上获得的结果中的信息性知识融合在一起，以自适应方式通过投票方案实现知识发现和更好的预测性能。在本文中，我们回顾了集成学习的主流方法的研究进展，并根据不同的特征对其进行了分类。此外，我们为集成学习的每种主流方法提出了挑战和可能的研究方向，并且还对集成学习与其他机器学习热点（例如深度学习，强化学习等）的结合进行了额外介绍。集成学习将以上获得的结果中的信息性知识融合在一起，以自适应方式通过投票方案实现知识发现和更好的预测性能。在本文中，我们回顾了集成学习的主流方法的研究进展，并根据不同的特征对其进行了分类。此外，我们为集成学习的每种主流方法提出了挑战和可能的研究方向，并且还对集成学习与其他机器学习热点（例如深度学习，强化学习等）的结合进行了额外介绍。