干净整洁的数据是后续进行研究和分析的基础。数据科学家们会花费大量的时间来清理数据集，毫不夸张地说，数据清洗会占据他们 80% 的工作时间，而真正用来分析数据的时间只占到 20% 左右。

所以，数据清洗到底是在清洗些什么？

通常来说，你所获取到的原始数据不能直接用来分析，因为它们会有各种各样的问题，如包含无效信息，列名不规范、格式不一致，存在重复值，缺失值，异常值等.....

本文会给大家介绍一些 Python 中自带的 Pandas 和 NumPy 库进行数据清洗的实用技巧。

一、 read_csv 读取文件

这是读取数据的入门级命令，在分析一个数据集的时候，很多信息其实是用不到的，因此，需要去除不必要的行或列。这里以 csv 文件为例，在导入的时候就可以通过设置 pd.read_csv() 里面的参数来实现这个目的。

先来感受一下官方文档中给出的详细解释，里面的参数是相当的多，本文只介绍比较常用的几个，感兴趣的话，可以好好研究一下文档，这些参数还是非常好用的，能省去很多导入后整理的工作。

【header】默认 header=0，即将文件中的 0 行作为列名和数据的开头，但有时候 0 行的数据是无关的，我们想跳过 0 行，让 1 行作为数据的开头，可以通过将 header 设置为 1 来实现。

【usecols】根据列的位置或名字，如[0,1,2]或[‘a’, ‘b’, ‘c’]，选出特定的列。

【nrows】要导入的数据行数，在数据量很大、但只想导入其中一部分时使用。

【names】：指定自定义列名。 此列表中不允许有重复项。

【index_col】: 指定用作数据框的行标签的列，以字符串名称或列索引的形式给出

【na_values】：指定数据框中需要被识别为 NA/NaN 的字符串或字符串列表

当一列缺失时直接指定 na_values='-1'

当多列缺失时，增加字典的键值对即可 na_values={'a':'-1','b':'-10'}

二、重新命名列

当原始数据的列名不好理解，或者不够简洁时，可以用. rename() 方法进行修改。这里我们把英文的列名改成中文，先创建一个字典，把要修改的列名定义好，然后调用 rename() 方法。

三、重新设置索引

数据默认的索引是从 0 开始的有序整数，但如果想把某一列设置为新的索引，除了可以用 read_csv() 里的参数 index_col，还可以用. set_index() 方法实现。

df.set_index('列名', inplace=True)

另外补充，如果数据经过删除或结构调整后，我们可以重置索引，让索引从 0 开始，依次排序。

df3.reset_index(drop=True)

四、用字符串操作规范列

字符串 str 操作是非常实用的，因为列中总是会包含不必要的字符，常用的方法如下：

lower()

upper()

str.lower() 是把大写转换成小写，同理，str.upper() 是把小写转换成大写，将示例中用大写字母表示的索引转换成小写。

capitalize()

设置首字母大写

replace()

str.replace("a", "") 替换特定字符。这里把列中的 a 去掉，替换成空字符。

strip()

去除字符串中的头尾空格、以及\n \t。

split()

str.split('x') 使用字符串中的'x'字符作为分隔符，将字符串分隔成列表。这里将列中的值以'.'进行分割。

get()

str.get() 选取列表中某个位置的值。接着上面分割后的结果，我们用 str.get(0) 取出列表中前一个位置的数值，生成新的一列。

contains()

str.contains() 判断是否存在某个字符，返回的是布尔值。

find()

str.find("-") 检测字符串中是否包含 "-"，如果包含，则返回该子字符串开始位置的索引值; 如果不包含，则返回 - 1。

学完基本的字符串操作方法，我们来看一下如何结合 NumPy 来提高字符串操作的效率。

我们可以将 Pandas 中的. str() 方法与 NumPy 的 np.where 函数相结合，np.where 函数是 Excel 的 IF() 宏的矢量化形式，它的语法如下:

np.where(condition, then, else)

如果 condition 条件为真，则执行 then，否则执行 else。这里的 condition 条件可以是一个类数组的对象，也可以是一个布尔表达式，我们也可以利用 np.where 函数嵌套多个条件进行矢量化计算和判断。

np.where(condition1, x1,         np.where(condition2, x2,             np.where(condition3, x3, ...)))

五、自定义函数规范列

接下来就要对列中的字符串进行整理，除了利用循环和. str() 方法相结合的方式进行操作，我们还可以选择用 applymap() 方法，它会将传入的函数作用于整个 DataFrame 所有行列中的每个元素。

先定义函数 get_citystate(item)，功能是只提取元素中的有效信息。然后，我们将这个函数传入 applymap()，并应用于 df3，看起来是不是干净多了，结果如下：

六、copy

如果你没听说过它的话，我不得强调它的重要性。输入下面的命令：

import pandas as pddf1 = pd.DataFrame({  a :[0,0,0],  b : [1,1,1]})df2 = df1df2[ a ] = df2[ a ] + 1df1.head()

你会发现 df1 已经发生了改变。这是因为 df2 = df1 并不是生成一个 df1 的复制品并把它赋值给 df2，而是设定一个指向 df1 的指针。所以只要是针对 df2 的改变，也会相应地作用在 df1 上。为了解决这个问题，你既可以这样做：

df2 = df1.copy()

也可以这样做：

from copy import deepcopydf2 = deepcopy(df1)

七、value_counts()

这个命令用于检查值的分布。你想要检查下 “c” 列中出现的值以及每个值所出现的频率，可以使用：

df[ c ].value_counts()

下面是一些有用的小技巧 / 参数：

normalize = True: 查看每个值出现的频率而不是频次数。

dropna = False: 把缺失值也保留在这次统计中。

sort = False: 将数据按照值来排序而不是按照出现次数排序。

df[‘c].value_counts().reset_index(): 将这个统计表转换成 pandas 的 dataframe 并且进行处理。

八、lsin () ，依据指定 ID 来选取行

lsin () 用于过滤数据帧。Isin () 有助于选择特定列中具有特定（或多个）值的行。

在 SQL 中我们可以使用 SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …) 来获取含有指定 ID 的记录。如果你也想在 Pandas 中做类似的事情，你可以使用：

df_filter = df[ ID ].isin([ A001 , C022 ,...])df[df_filter]

九、select_dtypes()

select_dtypes() 的作用是，基于 dtypes 的列返回数据帧列的一个子集。这个函数的参数可设置为包含所有拥有特定数据类型的列，亦或者设置为排除具有特定数据类型的列。

# We ll use the same dataframe that we used for read_csvframex =  df.select_dtypes(include="float64")# Returns only time column

十、pivot_table( )

pivot_table( ) 也是 Pandas 中一个非常有用的函数。如果对 pivot_table( ) 在 excel 中的使用有所了解，那么就非常容易上手了。

pivot_table(data, values=None, index=None, columns=None,aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All')

pivot_table 有四个最重要的参数 index、values、columns、aggfunc

Index 就是层次字段，要通过透视表获取什么信息就按照相应的顺序设置字段Values 可以对需要的计算数据进行筛选Columns 类似 Index 可以设置列层次字段，它不是一个必要参数，作为一种分割数据的可选方式aggfunc 参数可以设置我们对数据聚合时进行的函数操作Create a sample dataframe

school = pd.DataFrame({ "A" : [ "Jay" , "Usher" , "Nicky" , " Romero" , "Will" ],

"B" : [ "Masters" , "Graduate", "Graduate" , ''Masters" , "Graduate" ],

"C" : [26, 22, 20, 23, 24]})# Lets create a pivot table to segregate students based on age and course

table = pd.pivot_table(school, values = "A" , index =[ "B" , "C" ],

columns =[ "B" ], aggfunc = np.sum, fill_value="Not Available")

table十一、计算变量缺失率

df=pd.read_csv('train.csv')def missing_cal(df):    """    df :数据集        return：每个变量的缺失率    """    missing_series = df.isnull().sum()/df.shape[0]    missing_df = pd.DataFrame(missing_series).reset_index()    missing_df = missing_df.rename(columns={'index':'col',                                            0:'missing_pct'})    missing_df = missing_df.sort_values('missing_pct',ascending=False).reset_index(drop=True)    return missing_dfmissing_cal(df)

如果需要计算样本的缺失率分布，只要加上参数 axis=1

十二、获取分组里最大值所在的行方法

分为分组中有重复值和无重复值两种。无重复值的情况。

df = pd.DataFrame({'Sp':['a','b','c','d','e','f'], 'Mt':['s1', 's1', 's2','s2','s2','s3'], 'Value':[1,2,3,4,5,6], 'Count':[3,2,5,10,10,6]})dfdf.iloc[df.groupby(['Mt']).apply(lambda x: x['Count'].idxmax())]

先按 Mt 列进行分组，然后对分组之后的数据框使用 idxmax 函数取出 Count 最大值所在的列，再用 iloc 位置索引将行取出。有重复值的情况

df["rank"] = df.groupby("ID")["score"].rank(method="min", ascending=False).astype(np.int64)df[df["rank"] == 1][["ID", "class"]]

对 ID 进行分组之后再对分数应用 rank 函数，分数相同的情况会赋予相同的排名，然后取出排名为 1 的数据。

十三、多列合并为一行

df = pd.DataFrame({'id_part':['a','b','c','d'], 'pred':[0.1,0.2,0.3,0.4], 'pred_class':['women','man','cat','dog'], 'v_id':['d1','d2','d3','d1']})df.groupby(['v_id']).agg({'pred_class': [', '.join],'pred': lambda x: list(x),'id_part': 'first'}).reset_index()

十四、组内排序

df = pd.DataFrame([['A',1],['A',3],['A',2],['B',5],['B',9]], columns = ['name','score'])

介绍两种高效地组内排序的方法。

df.sort_values(['name','score'], ascending = [True,False])df.groupby('name').apply(lambda x: x.sort_values('score', ascending=False)).reset_index(drop=True)

十五、选择特定类型的列

drinks = pd.read_csv('data/drinks.csv')# 选择所有数值型的列drinks.select_dtypes(include=['number']).head()# 选择所有字符型的列drinks.select_dtypes(include=['object']).head()drinks.select_dtypes(include=['number','object','category','datetime']).head()# 用 exclude 关键字排除指定的数据类型drinks.select_dtypes(exclude=['number']).head()

十六、字符串转换为数值

df = pd.DataFrame({'列1':['1.1','2.2','3.3'],                  '列2':['4.4','5.5','6.6'],                  '列3':['7.7','8.8','-']})dfdf.astype({'列1':'float','列2':'float'}).dtypes

用这种方式转换第三列会出错，因为这列里包含一个代表 0 的下划线，pandas 无法自动判断这个下划线。为了解决这个问题，可以使用 to_numeric() 函数来处理第三列，让 pandas 把任意无效输入转为 NaN。

df = df.apply(pd.to_numeric, errors='coerce').fillna(0)

十七、优化 DataFrame 对内存的占用

方法一：只读取切实所需的列，使用 usecols 参数

cols = ['beer_servings','continent']small_drinks = pd.read_csv('data/drinks.csv', usecols=cols)

方法二：把包含类别型数据的 object 列转换为 Category 数据类型，通过指定 dtype 参数实现。

dtypes ={'continent':'category'}smaller_drinks = pd.read_csv('data/drinks.csv',usecols=cols, dtype=dtypes)

十八、把字符串分割为多列

df = pd.DataFrame({'姓名':['张 三','李 四','王 五'],                   '所在地':['北京-东城区','上海-黄浦区','广州-白云区']})dfdf.姓名.str.split(' ', expand=True)11.把 Series 里的列表转换为 DataFramedf = pd.DataFrame({'列1':['a','b','c'],'列2':[[10,20], [20,30], [30,40]]})dfdf_new = df.列2.apply(pd.Series)pd.concat([df,df_new], axis='columns')

希望本文的内容对大家的学习或者工作能带来一定的帮助，每天进步一点点，加油~