在机器学习中，在我们的数据集中运行任何算法之前，我们需要将我们的数据集分成两个集合，一个称为训练集，另一个称为测试集。想象一下，我们训练了一个机器学习模型，现在我们需要一些方法来测量我们的模型在我们的模型之前从未见过的新数据中的表现如何。所以我们需要两种类型的数据集，一种用于构建模型，另一种用于测试模型的性能。我们的测试集的性能不应该和我们的训练集有所不同，这意味着我们的机器学习模型能够做得很好，并将我们的数据集中的例子进行归纳，而不是死记硬背地学习它们。

过度拟合

学习算法试图记住所有来自训练集的例子的条件称为模型的过拟合。当我们的模型中有很多特征或者我们的模型太复杂时会发生这种情况。

Underfitting

当学习算法不能很好地学习数据集属性之间的相关性时，就称为模型拟合不足。我们的模型忽略了数据中的趋势或模式，不能很好地概括训练集。

数据集的测试/训练分割有助于我们预防机器学习算法中的这两种问题。

如果我们在一些数据上训练我们的模型，然后用相同的数据测量我们的模型的性能，那么它就被称为training accuracy。如果我们试图最大化我们的训练accuracy，那么结果可能是一个复杂的模型，它可能会超出我们的训练数据。

训练/测试

如果我们在一个数据集(训练数据集)上训练我们的模型，并在另一个数据集中(测试数据集)测试我们的模型的性能，那么使用测试数据集的性能度量就称为测试accuracy。这是比训练accuracy更好的估计。

训练误差也称为样本内误差(ISE)，测试误差也称为样本外误差(out - sample - error, OSE)。

我们通常将数据集分为训练集和测试集。训练集包含具有良好标记示例的数据。这一套是用来建立我们的模型的。模型从这些标记良好的数据集中学习，并归纳示例或学习数据集中数据之间的相关性。

通常，我们根据80/20规则分割数据集。我们将使用sklearn库的test_train_split方法在python中执行此任务。

考虑我们的数据集是以下形式的

现在0-7（80％）的数据必须进入训练集，数据（8和9）必须进入测试集。让我们编写Python代码来实现这一点。

# Import numpy for numerical computing

import numpy as np

# Import pandas for using common data science methods

import pandas as pd

# Import train_test_split from sklearn library

from sklearn.model_selection import train_test_split

# Read the dataset from csv fiel using pandas library

dataset = pd.read_csv('data.csv')

X = dataset.iloc[:, -1].values # Here first : means fetch all rows :-1 means except last column

Y = dataset.iloc[:, 3].values # : is fetch all rows 3 means 3rd column

# random_state below is a metric that is used by the function to shuffle datas while splitting. If you change the random_state

# then your split may not be same as previous

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state = 2) # 0.2 test_size means 20%

print(X_train.shape, y_train.shape)

print(X_test.shape, y_test.shape)

训练/测试分割的缺点

它提供了较高的方差估计，因为改变测试数据集中的观测或示例可以显著地改变测试accuracy。

现在你可能会说，如果我们把数据集分成一系列的训练/测试分割，计算它们的训练accuracy，然后把结果平均起来。这就是交叉验证的作用所在。交叉验证的常见类型是k-fold交叉验证。

K-fold交叉验证

在这个过程中，我们将数据集分成K个相等的partitions 或folds区域。然后使用folds中的一个作为测试集，并将剩余集合组合为训练集。然后我们计算我们模型的测试accuracy。我们重复从不同的folds中选择训练和测试的过程，并计算训练误差K次（folds数量）。然后我们使用平均训练accuracy作为估计。

例如，如果我们的数据集中有150行，并说我们的folds 大小是5.那么我们在每个fold中有150/5 = 30行（比如说fold1，fold2，fold3，fold4和fold5）。然后我们需要重复5次。对于第一次迭代，我们的测试集是fold1，剩下的是训练集。然后我们计算测试错误，并说这是错误1。在下一次迭代中，测试集合是fold2，其他则是训练集合。然后我们得到error2。我们重复这5次。那么training accuracy将是：

training accuracy=（error1 + ...+ error5）/ 5

现在让我们深入Python代码

from sklearn.model_selection import KFold # import KFold

X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]]) # create an 2d array i.e independent variables matrix

Y = np.array([1, 2, 3, 4]) # Create another array i.e dependent vector

kf = KFold(n_splits=2) # Define the split - into 2 folds

kf.get_n_splits(X) # returns the number of splitting iterations in the cross-validator

print(kf)

KFold(n_splits=2, random_state=None, shuffle=False)

test/train和K-fold的比较

test/train split的优点：

运行速度比K-fold快k倍，比k-fold更简单，因此分析测试错误会更容易

交叉验证的优点：

这是对样本外accuracy的更好估计，因为每个数据都用于训练和测试，所以可以更有效地使用数据