点击上方关注，All in AI中国

作者：Kimberly Cook

在这个指南中，我们将通过现代机器学习算法进行实用简洁的介绍。虽然存在其他这样的列表，但它们并没有真正解释每种算法的实际权衡，我们希望在这里进行。我们将根据经验讨论每种算法的优缺点。

对机器学习算法进行分类是比较棘手的，有几种合理的方法：它们可以分为生成/鉴别、参数/非参数、监督/非监督等。

例如，Scikit-Learn的文档页面按其学习机制对算法进行分组。这产生了如下类别：

广义线性模型支持向量机近邻算法决策树神经网络等等...

但是，根据我们的经验，这并不总是最实用的一种分组算法。这是因为对于应用机器学习，你通常不会想，"我今天想要训练一个支持向量机！"

相反，你通常有一个最终的目标，比如预测结果或对你的观察结果进行分类。

没有免费的午餐

在机器学习中，有一种称为"没有免费的午餐"的定理。简而言之，它表明没有一种算法能够最好地解决每个问题，并且它对于监督学习（即预测建模）尤其重要。

例如，你不能说神经网络总是比决策树更好，反之亦然。有许多因素在起作用，例如数据集的大小和结构。

因此，你应该针对自己的问题尝试许多不同的算法，同时使用持久"测试集"数据来评估性能并选择获胜者。

当然，你尝试的算法必须适合你自己的问题，这是选择正确的机器学习任务的地方。作为比喻，如果你需要清理房屋，可以使用吸尘器、扫帚或拖把，但你不会用铲子来打扫。

机器学习任务

这是本系列的第一部分。在这一部分中，我们将介绍"三大"机器学习任务，这是迄今为止最常见的任务。他们是：

回归分类集群

在第二部分中，我们将介绍降维，其中包括：

特征选择特征提取

继续之前的两点说明：

我们不会介绍特定于域的修改，例如自然语言处理。

我们不会涵盖所有算法。有太多要列出的内容，并且新的内容将会一直推出。但是，这个列表将为你提供每个任务成功的当代算法的代表性概述。

1.回归

回归是用于建模和预测连续数值变量的监督学习任务。其示例包括预测房地产价格、股票价格变动或学生考试成绩。

回归任务的特征在于具有数字目标变量的标记数据集。换句话说，你可以使用一些"基础事实"值来监控自己的算法。

1.1（正则化）线性回归

线性回归是回归任务最常用的算法之一。它以最简单的形式尝试将直超平面拟合到数据集中（即只有两个变量时为直线）。正如你可能猜到的，当数据集中的变量之间存在线性关系时，它可以正常工作。

在实践中，简单的线性回归通常被其正则化的对应物（LASSO、Ridge和Elastic-Net）所取代。正则化是一种惩罚系数较大以避免过度拟合的技术，并且应该调整惩罚的强度。

优点：线性回归很容易理解和解释，并且可以正则化以避免过度拟合。此外，使用随机梯度下降可以使用新数据轻松更新线性模型。

缺点：当存在非线性关系时，线性回归表现不佳。它们不够灵活，无法捕获更复杂的模式，添加合适的交互项或多项式可能非常棘手且耗时。

实现：Python/R.

1.2回归树（集成）

回归树（a.k.a.决策树）通过反复将数据集拆分为单独的分支来分层学习，从而最大化每个分割的信息增益。这种分支结构允许回归树自然地学习非线性关系。

集成（Ensembles）方法，例如随机森林（RF）和梯度提升树（GBM），结合了来自许多单独树木的预测。我们不会在这里介绍它们的基础机制，但在实践中，RF通常表现非常好，而GBM更难调整，但往往具有更高的性能上限。

优势：决策树可以学习非线性关系，并且对异常值非常稳健。集成在实践中表现很好，赢得了许多经典（即非深度学习）机器学习比赛。

缺点：不受约束的单个树木容易过度拟合，因为它们可以保持分支，直到它们记住训练数据。但是，这可以通过使用集成来缓解。

实现：随机森林-Python/R、Gradient Boosted Tree - Python/R.

1.3深度学习

深度学习是指可以学习极其复杂模式的多层神经网络。他们在输入和输出之间使用"隐藏层"，以模拟其他算法无法轻易学习的数据的中间表示。

它们有几个重要的机制，例如卷积和drop-out，使它们能够有效地从高维数据中学习。然而，与其他算法相比，深度学习仍然需要更多的数据来训练，因为模型具有更多的参数来估计。

优势：深度学习是某些领域的当前最新技术，例如计算机视觉和语音识别。深度神经网络在图像、音频和文本数据上表现非常好，并且可以使用批量传播轻松更新新数据。它们的架构（即层的数量和结构）可以适应许多类型的问题，并且它们的隐藏层减少了对特征工程的需求。

缺点：深度学习算法通常不适合作为通用算法，因为它们需要非常大量的数据。实际上，对于经典机器学习问题，它们通常优于决策树集成。此外，它们在训练时计算密集，并且它们需要更多的专业知识来调整（即设置架构和超参数）。

实现：Python/R

1.4近邻算法

最近近邻算法是"基于实例的"，这意味着保存每个训练观察。然后，他们通过搜索最相似的训练观察并汇集其值来对新观察进行预测。

这些算法是内存密集型的，对于高维数据执行不良，并且需要有意义的距离函数来计算相似性。在实践中，训练正则化回归或树集合几乎总是更好地利用你的时间。

2.分类

分类是用于建模和预测分类变量的监督学习任务。示例包括预测员工流失、电子邮件垃圾邮件，财务欺诈或学生信函等级。

正如你将看到的，许多回归算法都有分类对应。算法适用于预测类（或类概率）而不是实数。

2.1（正规化）逻辑回归

逻辑回归是线性回归的分类对应。预测通过逻辑函数映射到0到1之间，这意味着预测可以解释为类概率。

模型本身仍然是"线性的"，因此当类可线性分离时它们可以很好地工作（即它们可以由单个决策表面分隔）。逻辑回归也可以通过用可调惩罚强度惩罚系数来规则化。

优点：输出具有良好的概率解释，并且算法可以被正则化以避免过度拟合。使用随机梯度下降可以使用新数据轻松更新逻辑模型。

缺点：当存在多个或非线性决策边界时，逻辑回归往往表现不佳。它们不够灵活，不能自然地捕捉更复杂的关系。

实现：Python/R

2.2分类树（集成）

分类树是回归树的分类对应物。它们通常被称为"决策树"或通过总称"分类和回归树（CART）"。

优势：与回归一样，分类树集成在实践中也表现得非常好。它们对异常值具有鲁棒性、可扩展，并且由于其层次结构，能够自然地模拟非线性决策边界。

缺点：无约束的单个树木容易过度拟合，但这可以通过集成方法得到缓解。

实现：随机森林-Python/R，Gradient Boosted Tree - Python/R.

2.3深度学习

为了延续这一趋势，深度学习也很容易适应分类问题。实际上，分类通常是深度学习的较常见用途，例如图像分类。

优点：深度学习在分类音频、文本和图像数据时表现良好。

缺点：与回归一样，深度神经网络需要非常大量的数据来训练，因此它不被视为通用算法。

实现：Python/R

2.4支持向量机

支持向量机（SVM）使用称为内核的机制，它基本上计算两个观察之间的距离。然后，支持向量机（SVM）算法找到决策边界，最大限度地间隔之间的最接近的成员分开的类。

例如，具有线性内核的支持向量机（SVM）类似于逻辑回归。因此，在实践中，支持向量机（SVM）的好处通常来自使用非线性内核来模拟非线性决策边界。

优势：支持向量机（SVM）可以模拟非线性决策边界，并且有许多内核可供选择。它们对过度拟合也相当强大，特别是在高维空间。

缺点：然而，支持向量机（SVM）是内存密集型的，由于选择正确内核的重要性而难以调整，并且不能很好地扩展到更大的数据集。目前，在行业中，随机森林通常比支持向量机（SVM）更受欢迎。

实现：Python/R.

2.5朴素贝叶斯

朴素贝叶斯（NB）是一种基于条件概率和计数的非常简单的算法。从本质上讲，你的模型实际上是一个通过你的训练数据更新的概率表。为了预测新的观测值，你只需根据其特征值"查找""概率表"中的类概率。

它被称为"朴素"，因为它的条件独立的核心假设（即所有输入特征彼此独立）在现实世界中很少成立。

优势：尽管条件独立假设很少成立，但朴素贝叶斯（NB）模型实际上在实践中表现出色，特别是它们的简单性。它们易于实现，可以根据你的数据集进行扩展。

缺点：由于它们非常简单，朴素贝叶斯（NB）模型经常被经过适当训练的模型打败，并使用之前列出的算法进行调整。

实现：Python/R

3.聚类

聚类是一种无监督的学习任务，用于根据数据集中的固有结构查找自然的观察分组（即聚类）。示例包括客户细分，在电子商务中对类似项目进行分组以及社交网络分析。

由于聚类是无监督的（即没有"正确答案"），因此通常使用数据可视化来评估结果。如果存在"正确答案"（即你在训练集中预先标记了群集），则分类算法通常更合适。

3.1 K-Means

K-Means（ K聚类均值）算法是一种通用算法，它基于点之间的几何距离（即坐标平面上的距离）来制作聚类。聚类围绕质心分组，使它们呈球状，并具有相似的大小。这是我们推荐的初学者算法，因为它简单，但足够灵活，可以为大多数问题获得合理的结果。

优势：K-Means是最受欢迎的聚类算法，因为它可以快速、简单，并且如果你预处理数据并设计有用的功能，则会非常灵活。

缺点：用户必须指定群集的数量，这并不总是容易做到的。此外，如果数据中真正的基础聚类不是球状的，那么K-Means将产生较差的聚类。

实现：Python/R.

3.2 近邻传播

近邻传播是一种相对较新的聚类技术，可根据点之间的图形距离进行聚类。簇往往较小并且尺寸不均匀。

优点：用户不需要指定集群的数量（但是需要指定"样本偏好"和"阻尼"超参数）。

缺点：近邻传播的主要缺点是它非常慢，并且占用大量内存，因此很难扩展到更大的数据集。此外，它还假设真正的基础集群是球状的。

实现：Python/R.

3.3层次聚类

分层聚类,即a.k.a.凝聚聚类，是基于相同思想的一套算法：（1）从它自己的聚类中的每个点开始。（2）对于每个聚类，根据某些标准将其与另一个聚类合并。（3）重复直到只剩下一个聚类，并留下聚类的层次结构。

优势：分层聚类的主要优点是没有假设聚类是球状的。此外，它可以很好地扩展到更大的数据集。

实现：Python/R.

3.4 DBSCAN

DBSCAN是一种基于密度的算法，可以为点的密集区域创建聚类。最近还有一个名为HDBSCAN的新开发项目，它允许不同密度的聚类。

优势：DBSCAN不假设球状集群，其性能可扩展。此外，它不需要将每个点分配给集群，从而降低集群的噪声（这可能是一个弱点，具体取决于你的用例）。

缺点：用户必须调整超参数'epsilon'和'min_samples'，它们定义了集群的密度。DBSCAN对这些超参数非常敏感。

实现：Python/R

总结

我们刚刚通过现代算法探索了"三大"机器学习任务：回归、分类和聚类。

在第2部分中，我们将研究降维的算法，包括特征选择和特征提取。

但是，我们希望根据经验提供一些建议：

1.首先是练习，练习，练习。阅读算法可以帮助你在一开始就找到自己的立足点，但真正的掌握来自于练习。当你完成项目和/或竞赛时，将开发实用的直觉，这使你能够获得几乎任何算法并有效地应用它。

2.第二是掌握基本面。这里有很多我们不能列出的算法，其中一些算法在特定情况下是非常有效的。但是，几乎所有这些都是对此列表中算法的一些改编，这将为应用机器学习提供坚实的基础。

3.最后，请记住，更好的数据胜过更加高级的算法。在应用机器学习中，算法是商品，因为你可以根据问题轻松切换它们。但是，有效的探索性分析、数据清理和特征工程可以显著提高你的结果。

文章来源：