14.1. 什么是pandas？

pandas : Python数据分析模块

pandas是为了解决数据分析任务而创建的，纳入了大量的库和标准数据模型，提供了高效地操作大型数据集所需的工具。在此所写文章做成笔记记录的形式，小编推荐一个企鹅群，群里分子非常踊跃交流经验遇坑问题，也有初学者交流讨论，群内整理了也整理了大量的PDF书籍和学习资料，程序员也很热心的帮助解决问题，还有讨论工作上的解决方案，非常好的学习交流地方！群内大概有好几千人了，喜欢python的朋友可以加入python群：526929231欢迎大家交流讨论各种奇技淫巧，一起快速成长

pandas中的数据结构 :

Series: 一维数组，类似于python中的基本数据结构list，区别是series只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。就像数据库中的列数据。

DataFrame: 二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。

Panel：三维的数组，可以理解为DataFrame的容器。

14.2. 十分钟搞定pandas

引入需要的包：

numpy 是一个python实现的科学计算包

matplotlib 是一个python的2D绘图库

更多章节请查看 Cookbook

14.3. 创建对象

详情请查看 数据结构介绍

1.通过传入一个列表来创建 Series ，pandas会创建默认的整形指标:

2.通过传递数字数组、时间索引、列标签来创建 DataFrame

ps：

np.random.randn(6,4) 即创建6行4列的随机数字数组

3.通过传递能被转换成类似结构的字典来创建DataFrame:

4.查看各列的 dtypes

5.如果使用IPython，Tab会自动补全所有的属性和自定义的列，如下所示:

14.4. 查看数据

详情请查看 基本功能

1.查看DataFrame头部&尾部数据:

2.查看索引、列、和数组数据:

3.查看数据的快速统计结果:

4.对数据进行行列转换:

5.按 axis 排序:

6.按值排序:

14.5. 选择数据

注意：虽然标准的Python/Numpy表达式是直观且可用的，但是我们推荐使用优化后的pandas方法,例如:.at,.iat,.loc,.iloc以及.ix 详情请查看: Indexing and Selecting Data 和 MultiIndex / Advanced Indexing

获取

1.选择一列，返回Series，相当于df.A:

2.通过[]选择，即对行进行切片:

标签式选择

1.通过标签获取交叉区域:

ps:即获取时间为2013-01-01的数据

2.通过标签获取多轴数据:

3.标签切片:

4.对返回的对象缩减维度:

5.获取单个值:

6.快速访问单个标量（同5）:

ps:loc通过行标签获取行数据，iloc通过行号获取行数据

位置式选择

详情请查看 通过位置选择

1.通过数值选择:

2.通过数值切片:

PS：左开右闭

3.通过指定列表位置:

4.对行切片:

5.对列切片:

6.获取特定值:

7.快速访问某个标量（同6）:

Boolean索引

1.通过某列选择数据:

2.通过where选择数据:

3.通过 isin() 过滤数据:

设置

1.新增一列数据:

2.通过标签更新值:

3.通过位置更新值:

4.通过数组更新一列值:

上面几步操作的结果:

5.通过where更新值:

14.6. 缺失数据处理

pandas用np.nan代表缺失数据，详情请查看 Missing Data section

1.reindex()可以修改/增加/删除索引，会返回一个数据的副本:

2.丢掉含有缺失项的行:

3.对缺失项赋值:

4.对缺失项布尔赋值:

14.7. 相关操作

详情请查看 Basic section on Binary Ops

统计(操作通常情况下不包含缺失项)

1.按列求平均值:

2.按行求平均值:

3.操作不同的维度需要先对齐,pandas会沿着指定维度执行:

这里对齐维度指的对齐时间index

shift(2)指沿着时间轴将数据顺移两位

sub指减法，与NaN进行操作，结果也是NaN

应用

1.对数据应用function:

PS： - cumsum 累加

详情请查看 直方图和离散化

直方图:

pandas默认配置了一些字符串处理方法，可以方便的操作元素，如下所示:(详情请查看 Vectorized String Methods)

字符串方法:

14.8. 合并

连接

pandas提供了大量的方法，能轻松的对Series，DataFrame和Panel执行合并操作。详情请查看 Merging section

使用concat()连接pandas对象:

Join

类似SQL的合并操作，详情请查看 Database style joining

栗子:

栗子:

追加，详情请查看 Appending:

14.9. 分组

group by： - Splitting 将数据分组 - Applying 对每个分组应用不同的function - Combining 使用某种数据结果展示结果 详情请查看 Grouping section

举个栗子:

分组后sum求和:

对多列分组后sum:

14.10. 重塑

详情请查看 Hierarchical Indexing 和 Reshaping

stack：

PS：pd.MultiIndex.from_tuples 将包含多个list的元组转换为复杂索引

使用stack()方法为DataFrame增加column:

使用unstack()方法还原stack的DataFrame，默认还原最后一级，也可以自由指定:

透视表详情请查看 Pivot Tables

栗子:

PS：可以理解为自由组合表的行与列，类似于交叉报表

我们能非常简单的构造透视表:

14.11. 时间序列

pandas可以简单高效的进行重新采样通过频率转换(例如:将秒级数据转换成五分钟为单位的数据)。这常见与金融应用中，但是不限于此。详情请查看 Time Series section

栗子:

PS：将随机产生的秒级数据整合成5min的数据

时区表现:

时区变换:

在不同的时间跨度表现间变换:

PS：to_period()默认频率为M，to_period和to_timestamp可以相互转换

在周期和时间戳间转换，下面的栗子将季度时间转换为各季度最后一个月的09am:

14.12. 分类

从0.15版以后，pandas可以造DataFrame中包含分类数据，详情请查看 分类介绍 和 API 文档:

1.将原始成绩转换为分类数据:

2.重命名分类使其更有意义:

3.重新整理类别，并添加缺少的类别:

4.按整理后的类别排序(并非词汇的顺序):

5.按类别分组也包括空类别:

14.13. 绘图

详情请查看 Plotting:

图一

在DataFrame中，plot()可以绘制所有带有标签的列:

图二

14.14. 获取数据 写入导出

CSV

写入csv文件:

2. 读取csv文件:

HDF5

HDFStores

1.写入HDF5 Store:

2.从HDF5 Store读取:

Excel

MS Excel

1.写入excel文件:

2.从excel文件读取:

14.15. 小陷阱

如果你操作时遇到了如下异常:

请查看 Comparisons 来处理异常 查看 Gotchas 也可以