前言:
此刻各位老铁们对“python数据为空替代0”大概比较讲究,你们都需要剖析一些“python数据为空替代0”的相关内容。那么小编在网摘上收集了一些有关“python数据为空替代0””的相关资讯,希望同学们能喜欢,小伙伴们快快来了解一下吧!「目录」
数据清洗和准备
7.1 => 处理缺失数据 7.2 => 数据转换 7.3 => 字符串操作
处理缺失数据
在许多数据分析工作中,缺失数据是经常发生的,也许是不存在,也许是没有观察到。pandas作者说,pandas的目标之一就是尽量轻松的处理缺失数据。
对于数值数据,pandas使用浮点值NaN(Not a Number)表示缺失数据。
In [1]: import numpy as npIn [2]: import pandas as pdIn [3]: string_data = pd.Series(['red', 'orange', np.nan, 'green'])In [4]: string_dataOut[4]:0 red1 orange2 NaN3 greendtype: object
isnull方法可以检测缺失值:
In [5]: string_data.isnull()Out[5]:0 False1 False2 True3 Falsedtype: bool
滤除缺失数据
过滤掉缺失数据的方法有很多,比如dropna。
对于Series,dropna返回一个仅含非空数据和索引值的Series:
In [6]: from numpy import nan as NAIn [7]: data = pd.Series([1, NA, 3.5, NA, 7])In [8]: data.dropna()Out[8]:0 1.02 3.54 7.0dtype: float64
布尔索引也可以达到同样效果:
In [9]: data[data.notnull()]Out[9]:0 1.02 3.54 7.0dtype: float64
对于DataFrame,dropna默认丢弃任何含有缺失值的行:
In [10]: data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA], [NA, NA, NA], [NA, 6.5, 3.0]])In [11]: cleaned = data.dropna()In [12]: dataOut[12]: 0 1 20 1.0 6.5 3.01 1.0 NaN NaN2 NaN NaN NaN3 NaN 6.5 3.0In [13]: cleanedOut[13]: 0 1 20 1.0 6.5 3.0
传入how = 'all'将只丢弃全为NaN的行:
In [14]: data.dropna(how='all')Out[14]: 0 1 20 1.0 6.5 3.01 1.0 NaN NaN3 NaN 6.5 3.0
用这种方式丢弃列,只需传入axis=1:
In [15]: data[4] = NAIn [16]: dataOut[16]: 0 1 2 40 1.0 6.5 3.0 NaN1 1.0 NaN NaN NaN2 NaN NaN NaN NaN3 NaN 6.5 3.0 NaNIn [17]: data.dropna(axis=1, how='all')Out[17]: 0 1 20 1.0 6.5 3.01 1.0 NaN NaN2 NaN NaN NaN3 NaN 6.5 3.0
另一种过滤掉数据的方式是传入thresh参数,指定保留一定数量的数据。比如下面这个例子,通过传入thresh=2,就过滤掉了第二行和第三行(这两行非NaN的数据不足2个)。
In [18]: dataOut[18]: 0 1 2 40 1.0 6.5 3.0 NaN1 1.0 NaN NaN NaN2 NaN NaN NaN NaN3 NaN 6.5 3.0 NaNIn [19]: data.dropna(thresh=2)Out[19]: 0 1 2 40 1.0 6.5 3.0 NaN3 NaN 6.5 3.0 NaN
填充缺失数据
有时候你可能并不想滤掉缺失的数据,而是想要以某种方式填补这些空洞(缺失值)。大多数情况下,可以使用fillna方法,传入一个常数来替代那些缺失值。
In [20]: dataOut[20]: 0 1 2 40 1.0 6.5 3.0 NaN1 1.0 NaN NaN NaN2 NaN NaN NaN NaN3 NaN 6.5 3.0 NaNIn [21]: data.fillna(0)Out[21]: 0 1 2 40 1.0 6.5 3.0 0.01 1.0 0.0 0.0 0.02 0.0 0.0 0.0 0.03 0.0 6.5 3.0 0.0
fillna方法会返回一个新对象,也可以通过传入inplace参数就地改变:
In [23]: _ = data.fillna(0, inplace=True)In [24]: dataOut[24]: 0 1 2 40 1.0 6.5 3.0 0.01 1.0 0.0 0.0 0.02 0.0 0.0 0.0 0.03 0.0 6.5 3.0 0.0
若将一个字典传入fillna,我们可以对每一列使用不同的填充值。
先随便创建一个有缺失值的DataFrame:
In [26]: df = pd.DataFrame(np.random.randn(7,3), columns = ['A', 'B', 'C'])In [27]: dfOut[27]: A B C0 0.009956 -0.851042 -0.7897211 0.589170 -0.328310 -0.0944392 0.644725 -0.039017 1.1766013 -0.197240 1.117631 -0.8515694 0.286496 0.186569 0.4165805 -2.093723 0.007716 -0.0530226 0.724030 -0.379992 -1.624782In [28]: df.iloc[:4,1] = NAIn [29]: df.iloc[:2,2] = NAIn [30]: dfOut[30]: A B C0 0.009956 NaN NaN1 0.589170 NaN NaN2 0.644725 NaN 1.1766013 -0.197240 NaN -0.8515694 0.286496 0.186569 0.4165805 -2.093723 0.007716 -0.0530226 0.724030 -0.379992 -1.624782
传入字典,B列的缺失值用666替代,而C列的缺失值用6666替代:
In [32]: df.fillna({'B':666, 'C':6666})Out[32]: A B C0 0.009956 666.000000 6666.0000001 0.589170 666.000000 6666.0000002 0.644725 666.000000 1.1766013 -0.197240 666.000000 -0.8515694 0.286496 0.186569 0.4165805 -2.093723 0.007716 -0.0530226 0.724030 -0.379992 -1.624782
对reindex有效的那些插值方法也可以用在fillna:
In [33]: df = pd.DataFrame(np.random.randn(6, 3))In [34]: df.iloc[2:, 1] = NAIn [35]: df.iloc[4:, 2] = NAIn [36]: dfOut[36]: 0 1 20 -0.104274 -0.132962 0.1257101 0.283795 -0.333354 1.6903032 0.461812 NaN 1.1486633 -0.742873 NaN 0.5954774 -0.655055 NaN NaN5 -0.972139 NaN NaNIn [37]: df.fillna(method='ffill')Out[37]: 0 1 20 -0.104274 -0.132962 0.1257101 0.283795 -0.333354 1.6903032 0.461812 -0.333354 1.1486633 -0.742873 -0.333354 0.5954774 -0.655055 -0.333354 0.5954775 -0.972139 -0.333354 0.595477In [38]: df.fillna(method='ffill', limit=2)Out[38]: 0 1 20 -0.104274 -0.132962 0.1257101 0.283795 -0.333354 1.6903032 0.461812 -0.333354 1.1486633 -0.742873 -0.333354 0.5954774 -0.655055 NaN 0.5954775 -0.972139 NaN 0.595477
最后我们也可以稍微更有创意的使用fillna方法,比如用平均值来填充缺失值:
In [40]: data = pd.Series([1., NA, 3.5, NA, 7])In [41]: data.fillna(data.mean())Out[41]:0 1.0000001 3.8333332 3.5000003 3.8333334 7.000000dtype: float64
To be continue...
标签: #python数据为空替代0