龙空技术网

数据清洗-利用python进行缺失值处理

洛洛成长 117

前言:

如今你们对“python数据空值处理”都比较重视,咱们都想要学习一些“python数据空值处理”的相关文章。那么小编在网上汇集了一些有关“python数据空值处理””的相关知识,希望朋友们能喜欢,咱们一起来了解一下吧!

处理缺失值的方法有3种:删除、不处理、数据插补。

而数据插补主要有5种:

1)利用均值、中位数、众数插补

2)使用固定值进行插补

3)最近临插补

4)回归方法

5)插值法

而主要的插值法分为牛顿插值法、拉格朗日插值法、Hermite插值、分段插值、样条插值法等。

本文主要介绍拉格朗日插值法:

对数学好的可以看一下拉格朗日插值法的数学公式,不感兴趣的直接略过看后续python 代码。

拉格朗日插值法是以法国十八世纪数学家约瑟夫·拉格朗日命名的一种多项式插值方法。拉格朗日插值法可以找到一个多项式,其恰好在各个观测的点取到观测到的值。

从数学上来说就是,对于平面上已知的n个点,可以找到一个n-1次多项式 使得多项式曲线能够过这n个点,从而求出缺失值,补上缺失值。

#拉格朗日插值代码

import pandas as pd #导入数据分析库Pandas

from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile = 'path' #销量数据路径

outputfile = 'path' #输出数据路径

data = pd.read_excel(inputfile) #读入数据

#自定义列向量插值函数

#s为列向量,n为被插值的位置,k为取前后的数据个数,默认为5

def ployinterp_column(s, n, k=5):

y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数

y = y[y.notnull()] #剔除空值

return lagrange(y.index, list(y))(n) #插值并返回插值结果

#逐个元素判断是否需要插值

for i in data.columns:

for j in range(len(data)):

if (data[i].isnull())[j]: #如果为空即插值。

data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile) #输出结果,写入文件

标签: #python数据空值处理