1.KNN算法简介及其两种分类器

KNN，即K近邻法(k-nearst neighbors)，所谓的k最近邻，就是指最接近的k个邻居（数据），即每个样本都可以由它的K个邻居来表达。kNN算法的核心思想是，在一个含未知样本的空间，可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。 在scikit-learn 中，与近邻法这一大类相关的类库都在sklearn.neighbors包之中。其中分类器有KNN分类树KNeighborsClassifier、限定半径最近邻分类树的类RadiusNeighborsClassifier以及最近质心分类算法NearestCentroid等等。前两种分类算法中，scikit-learn实现两个不同的最近邻分类器：KNeighborsClassifier基于每个查询点的k个最近邻点实现学习，其中k是用户指定的最近邻数量。 RadiusNeighborsClassifier基于每个训练点的固定半径r内的最近邻搜索实现学习，其中r是用户指定的半径浮点值。关于这两种分类器的差别可以参考KNN算法的KD树和球树进行了解。

2.分类器KNeighborsClassifier的python实现以及结果的可视化

基于scikit-learn的KNeighborsClassifier以及RadiusNeighborsClassifier分类器，本文构建样本数据，采用这两种方法进行分类预测，根据结果画出二者的预测集，从而进行比较。 （1）首先是导入各种库。

import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.colors import ListedColormapfrom sklearn import neighbors, datasetsimport pandas as pd

（2）然后生成样本数据，这里要注意需要生成只有两个特征值的数据集。

from sklearn.datasets.samples_generator import make_classification# X为样本特征，y为样本类别输出， 共200个样本，每个样本2个特征，输出有3个类别，没有冗余特征，每个类别一个簇X, y = make_classification(n_samples=200, n_features=2, n_redundant=0,n_clusters_per_class=1, n_classes=3)#之所以生成2个特征值是因为需要在二维平面上可视化展示预测结果，所以只能是2个，3个都不行plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)plt.show() #根据随机生成样本不同，图形也不同

本次结果生成的三个类别分布如下：

（3）采用KNeighborsClassifier进行分类与预测

clf = neighbors.KNeighborsClassifier(n_neighbors = 15 , weights='distance')clf.fit(X, y) #用KNN来拟合模型，我们选择K=15，权重为距离远近h = .02 #网格中的步长#确认训练集的边界#生成随机数据来做测试集，然后作预测x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) #生成网格型二维数据对Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])

（4）画出不同预测类别的区域地图以及实际训练数据的类别位置

# Create color mapscmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF']) #给不同区域赋以颜色cmap_bold = ListedColormap(['#FF0000', '#003300', '#0000FF'])#给不同属性的点赋以颜色#将预测的结果在平面坐标中画出其类别区域Z = Z.reshape(xx.shape)plt.figure()plt.pcolormesh(xx, yy, Z, cmap=cmap_light)# 也画出所有的训练集数据plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.show()

得到结果为：

结果可以看出，预测区域能够涵盖大部分的训练数据，除了少部分训练数据分布异常外（如部分红色点进入绿色区域，蓝色点进入红色区域）。

3.分类器RadiusNeighborsClassifier的python实现以及结果的可视化

其步骤与2中KNeighborsClassifier步骤基本相同，主要是在拟合与预测上采用KNeighborsClassifier分类函数，整个代码为：

clf1 = neighbors.RadiusNeighborsClassifier(10.0, weights='distance')clf1.fit(X, y)Z1 = clf1.predict(np.c_[xx.ravel(), yy.ravel()])Z1 = Z1.reshape(xx.shape)plt.figure()plt.pcolormesh(xx, yy, Z1, cmap=cmap_light)# 也画出所有的训练集数据plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.show()

得到结果：

此图与上图相比，还是有不同的，特别是绿色区域范围扩大了。哪种方法比较好呢？从可视化图形不容易看出，可视化只能直观看出二者的结果差异性，最好的评价二者分类优劣的方法就是计算其预测的误差率（loss funtion）或者准确率（预测正确的个数占总数的比例）。