监督学习

1. 决策树：决策树是一种决策支持工具，它使用树状图或决策模型及其可能的后果，包括事件结果、资源成本和效用。

2. 朴素贝叶斯分类：朴素贝叶斯分类器是一系列简单的概率分类器，基于应用贝叶斯定理以及特征之间的强（朴素）独立性假设。特征图像是方程 - P(A|B) 是后验概率，P(B|A) 是似然，P(A) 是类先验概率，P(B) 是预测先验概率。

贝叶斯分类的例子有：· 将电子邮件标记为垃圾邮件或非垃圾邮件；· 对有关技术、政治或体育的新闻文章进行分类；· 检查一段文字表达的是积极情绪，还是消极情绪？· 用于人脸识别软件。

3. 普通最小二乘回归：最小二乘法是一种执行线性回归的方法。可以将线性回归视为通过一组点拟合直线的任务。有多种可能的策略可以做到这一点，“普通最小二乘”策略是这样的——你可以画一条线，然后对于每个数据点，测量点和线之间的垂直距离，并将它们相加; 拟合线将是距离总和尽可能小的线。

线性是指用于拟合数据的模型类型，而最小二乘是指要最小化的误差度量类型。

4. 逻辑回归：逻辑回归是一种强大的统计方法，可以用一个或多个解释变量对二项式结果进行建模。它通过使用逻辑函数（即累积逻辑分布）估计概率来衡量分类因变量与一个或多个自变量之间的关系。

5. 支持向量机： SVM是二元分类算法。给定 N 维位置上的一组 2 种类型的点，SVM 生成一个 (N - 1) 维超车道以将这些点分为 2 组。SVM 将找到一条直线，将这些点分为两种类型，并且距离所有这些点尽可能远。

6. 集成方法：集成方法是一种学习算法，它构造一组分类器，然后通过对其预测进行加权投票来对新数据点进行分类。最初的集成方法是贝叶斯平均，但最近的算法包括纠错输出编码、装袋和提升。

无监督学习

7. 聚类算法：聚类是将一组对象进行分组的任务，使得同一组（簇）中的对象彼此比其他组中的对象更相似。

聚类算法

8. 主成分分析： PCA 是一种统计过程，它使用正交变换将一组可能相关变量的观察值转换为一组称为主成分的线性不相关变量的值。

9. 奇异值分解：在线性代数中，SVD 是实数复矩阵的因式分解。对于给定的m * n矩阵 M，存在这样的分解：M = UΣV，其中 U 和 V 是酉矩阵，Σ 是对角矩阵。

PCA实际上是SVD的一个简单应用。在计算机视觉中，第一个人脸识别算法使用PCA和SVD，将人脸表示为“特征脸”的线性组合，进行降维，然后通过简单的方法将人脸与身份进行匹配；尽管现代方法更加复杂，但许多方法仍然依赖于类似的技术。

10. 独立成分分析： ICA 是一种统计技术，用于揭示随机变量、测量或信号集背后的隐藏因素。ICA 为观察到的多元数据定义了一个生成模型，该模型通常以大型样本数据库的形式给出。在模型中，假设数据变量是一些未知潜变量的线性混合，并且混合系统也是未知的。潜在变量被假设为非高斯且相互独立，它们被称为观测数据的独立分量。