「目录」

数据清洗和准备

7.1 => 处理缺失数据 7.2 => 数据转换 7.3 => 字符串操作

处理缺失数据

在许多数据分析工作中，缺失数据是经常发生的，也许是不存在，也许是没有观察到。pandas作者说，pandas的目标之一就是尽量轻松的处理缺失数据。

对于数值数据，pandas使用浮点值NaN(Not a Number)表示缺失数据。

In [1]: import numpy as npIn [2]: import pandas as pdIn [3]: string_data = pd.Series(['red', 'orange', np.nan, 'green'])In [4]: string_dataOut[4]:0       red1    orange2       NaN3     greendtype: object

isnull方法可以检测缺失值：

In [5]: string_data.isnull()Out[5]:0    False1    False2     True3    Falsedtype: bool

滤除缺失数据

过滤掉缺失数据的方法有很多，比如dropna。

对于Series，dropna返回一个仅含非空数据和索引值的Series:

In [6]: from numpy import nan as NAIn [7]: data = pd.Series([1, NA, 3.5, NA, 7])In [8]: data.dropna()Out[8]:0    1.02    3.54    7.0dtype: float64

布尔索引也可以达到同样效果：

In [9]: data[data.notnull()]Out[9]:0    1.02    3.54    7.0dtype: float64

对于DataFrame，dropna默认丢弃任何含有缺失值的行：

In [10]: data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA], [NA, NA, NA], [NA, 6.5, 3.0]])In [11]: cleaned = data.dropna()In [12]: dataOut[12]:     0    1    20  1.0  6.5  3.01  1.0  NaN  NaN2  NaN  NaN  NaN3  NaN  6.5  3.0In [13]: cleanedOut[13]:     0    1    20  1.0  6.5  3.0

传入how = 'all'将只丢弃全为NaN的行：

In [14]: data.dropna(how='all')Out[14]:     0    1    20  1.0  6.5  3.01  1.0  NaN  NaN3  NaN  6.5  3.0

用这种方式丢弃列，只需传入axis=1:

In [15]: data[4] = NAIn [16]: dataOut[16]:     0    1    2   40  1.0  6.5  3.0 NaN1  1.0  NaN  NaN NaN2  NaN  NaN  NaN NaN3  NaN  6.5  3.0 NaNIn [17]: data.dropna(axis=1, how='all')Out[17]:     0    1    20  1.0  6.5  3.01  1.0  NaN  NaN2  NaN  NaN  NaN3  NaN  6.5  3.0

另一种过滤掉数据的方式是传入thresh参数，指定保留一定数量的数据。比如下面这个例子，通过传入thresh=2，就过滤掉了第二行和第三行（这两行非NaN的数据不足2个）。

In [18]: dataOut[18]:     0    1    2   40  1.0  6.5  3.0 NaN1  1.0  NaN  NaN NaN2  NaN  NaN  NaN NaN3  NaN  6.5  3.0 NaNIn [19]: data.dropna(thresh=2)Out[19]:     0    1    2   40  1.0  6.5  3.0 NaN3  NaN  6.5  3.0 NaN

填充缺失数据

有时候你可能并不想滤掉缺失的数据，而是想要以某种方式填补这些空洞（缺失值）。大多数情况下，可以使用fillna方法，传入一个常数来替代那些缺失值。

In [20]: dataOut[20]:     0    1    2   40  1.0  6.5  3.0 NaN1  1.0  NaN  NaN NaN2  NaN  NaN  NaN NaN3  NaN  6.5  3.0 NaNIn [21]: data.fillna(0)Out[21]:     0    1    2    40  1.0  6.5  3.0  0.01  1.0  0.0  0.0  0.02  0.0  0.0  0.0  0.03  0.0  6.5  3.0  0.0

fillna方法会返回一个新对象，也可以通过传入inplace参数就地改变：

In [23]: _ = data.fillna(0, inplace=True)In [24]: dataOut[24]:     0    1    2    40  1.0  6.5  3.0  0.01  1.0  0.0  0.0  0.02  0.0  0.0  0.0  0.03  0.0  6.5  3.0  0.0

若将一个字典传入fillna，我们可以对每一列使用不同的填充值。

先随便创建一个有缺失值的DataFrame：

In [26]: df = pd.DataFrame(np.random.randn(7,3), columns = ['A', 'B', 'C'])In [27]: dfOut[27]:          A         B         C0  0.009956 -0.851042 -0.7897211  0.589170 -0.328310 -0.0944392  0.644725 -0.039017  1.1766013 -0.197240  1.117631 -0.8515694  0.286496  0.186569  0.4165805 -2.093723  0.007716 -0.0530226  0.724030 -0.379992 -1.624782In [28]: df.iloc[:4,1] = NAIn [29]: df.iloc[:2,2] = NAIn [30]: dfOut[30]:          A         B         C0  0.009956       NaN       NaN1  0.589170       NaN       NaN2  0.644725       NaN  1.1766013 -0.197240       NaN -0.8515694  0.286496  0.186569  0.4165805 -2.093723  0.007716 -0.0530226  0.724030 -0.379992 -1.624782

传入字典，B列的缺失值用666替代，而C列的缺失值用6666替代：

In [32]: df.fillna({'B':666, 'C':6666})Out[32]:          A           B            C0  0.009956  666.000000  6666.0000001  0.589170  666.000000  6666.0000002  0.644725  666.000000     1.1766013 -0.197240  666.000000    -0.8515694  0.286496    0.186569     0.4165805 -2.093723    0.007716    -0.0530226  0.724030   -0.379992    -1.624782

对reindex有效的那些插值方法也可以用在fillna：

In [33]: df = pd.DataFrame(np.random.randn(6, 3))In [34]: df.iloc[2:, 1] = NAIn [35]: df.iloc[4:, 2] = NAIn [36]: dfOut[36]:          0         1         20 -0.104274 -0.132962  0.1257101  0.283795 -0.333354  1.6903032  0.461812       NaN  1.1486633 -0.742873       NaN  0.5954774 -0.655055       NaN       NaN5 -0.972139       NaN       NaNIn [37]: df.fillna(method='ffill')Out[37]:          0         1         20 -0.104274 -0.132962  0.1257101  0.283795 -0.333354  1.6903032  0.461812 -0.333354  1.1486633 -0.742873 -0.333354  0.5954774 -0.655055 -0.333354  0.5954775 -0.972139 -0.333354  0.595477In [38]: df.fillna(method='ffill', limit=2)Out[38]:          0         1         20 -0.104274 -0.132962  0.1257101  0.283795 -0.333354  1.6903032  0.461812 -0.333354  1.1486633 -0.742873 -0.333354  0.5954774 -0.655055       NaN  0.5954775 -0.972139       NaN  0.595477

最后我们也可以稍微更有创意的使用fillna方法，比如用平均值来填充缺失值：

In [40]: data = pd.Series([1., NA, 3.5, NA, 7])In [41]: data.fillna(data.mean())Out[41]:0    1.0000001    3.8333332    3.5000003    3.8333334    7.000000dtype: float64

To be continue...