龙空技术网

Python可视化教程

IT智能化专栏 2667

前言:

而今大家对“python处理csv数据 cumsum”大约比较关注,看官们都需要分析一些“python处理csv数据 cumsum”的相关资讯。那么小编在网络上搜集了一些有关“python处理csv数据 cumsum””的相关知识,希望各位老铁们能喜欢,你们一起来学习一下吧!

一、基础篇

利用python实现可视化的三个步骤:

1、确定问题,选择图形

2、转换数据,应用函数

3、参数设置,一目了然

01

首先,要知道我们用哪些库来画图?

matplotlib

python中最基本的作图库就是matplotlib,是一个最基础的Python可视化库,一般都是从matplotlib上手Python数据可视化,然后开始做纵向与横向拓展。

Seaborn

是一个基于matplotlib的高级可视化效果库,针对的点主要是数据挖掘和机器学习中的变量特征选取,seaborn可以用短小的代码去绘制描述更多维度数据的可视化效果图。

其他库还包括

Bokeh(是一个用于做浏览器端交互可视化的库,实现分析师与数据的交互)Mapbox(处理地理数据引擎更强的可视化工具库)等等

本篇文章主要使用matplotlib进行案例分析

确定问题,选择图形

业务可能很复杂,但是经过拆分,我们要找到我们想通过图形表达什么具体问题。分析思维的训练可以学习《麦肯锡方法》和《金字塔原理》中的方法。

这是网上的一张关于图表类型选择的总结。

在python中,我们可以总结为以下四种基本视觉元素来展现图形:

点:scatter plot 二维数据,适用于简单二维关系线:line plot 二维数据,适用于时间序列柱状:bar plot 二维数据,适用于类别统计颜色:heatmap 适用于展示第三维度

数据间存在分布,构成,比较,联系以及变化趋势等关系。对应不一样的关系,选择相应的图形进行展示。

转换数据,应用函数

数据分析和建模方面的大量编程工作都是用在数据准备的基础上的:加载、清理、转换以及重塑。我们可视化步骤也需要对数据进行整理,转换成我们需要的格式再套用可视化方法完成作图。

下面是一些常用的数据转换方法:

合并:merge,concat,combine_frist(类似于数据库中的全外连接)重塑:reshape;轴向旋转:pivot(类似excel数据透视表)去重:drop_duplicates映射:map填充替换:fillna,replace重命名轴索引:rename将分类变量转换‘哑变量矩阵’的get_dummies函数以及在df中对某列数据取限定值等等

函数则根据第一步中选择好的图形,去找python中对应的函数。

参数设置,一目了然

原始图形画完后,我们可以根据需求修改颜色(color),线型(linestyle),标记(maker)或者其他图表装饰项标题(Title),轴标签(xlabel,ylabel),轴刻度(set_xticks),还有图例(legend)等,让图形更加直观。

第三步是在第二步的基础上,为了使图形更加清晰明了,做的修饰工作。具体参数都可以在制图函数中找到。

下面,我总结了实现可视化会用到的一些基础知识

02

可视化作图基础

Matplotlib

#导入包import numpy as npimport pandas as pdimport matplotlib.pyplot as plt

Figure和Subplot

matplotlib的图形都位于Figure(画布)中,Subplot创建图像空间。不能通过figure绘图,必须用add_subplot创建一个或多个subplot。

figsize可以指定图像尺寸。

#创建画布fig = plt.figure()<Figure size 432x288 with 0 Axes>#创建subplot,221表示这是2行2列表格中的第1个图像。ax1 = fig.add_subplot(221)#但现在更习惯使用以下方法创建画布和图像,2,2表示这是一个2*2的画布,可以放置4个图像fig , axes = plt.subplots(2,2,sharex=True,sharey=True)#plt.subplot的sharex和sharey参数可以指定所有的subplot使用相同的x,y轴刻度。

利用Figure的subplots_adjust方法可以调整间距。 subplots_adjust(left=None,bottom=None,right=None,top=None,wspace=None,hspace=None)

fig.subplots_adjust(wspace=0,hspace=0)#将间距调整为0#举个栗子fig , axes = plt.subplots(2,2,sharex=True,sharey=True)for i in range(2):    for j in range(2):        axes[i,j].hist(np.random.randn(500),bins=50,color='k',alpha=0.5)fig.subplots_adjust(wspace=0,hspace=0)

颜色color,标记marker,和线型linestyle

matplotlib的plot函数接受一组X和Y坐标,还可以接受一个表示颜色和线型的字符串缩写:'g--',表示颜色是绿色green,线型是'--'虚线。 也可以使用参数明确的指定。

线型图还可以加上一些标记(marker),来突出显示数据点的位置。标记也可以放在格式字符串中,但标记类型和线型必须放在颜色后面。

plt.plot(np.random.randn(30),color='g',linestyle='--',marker='o')[<matplotlib.lines.Line2D at 0x8c919b0>]

刻度,标签和图例

plt的xlim、xticks和xtickslabels方法分别控制图表的范围和,刻度位置和刻度标签。

调用方法时不带参数,则返回当前的参数值;调用时带参数,则设置参数值。

plt.plot(np.random.randn(30),color='g',linestyle='--',marker='o')plt.xlim()   #不带参数调用,显示当前参数;#可将xlim替换为另外两个方法试试(-1.4500000000000002, 30.45)
plt.plot(np.random.randn(30),color='g',linestyle='--',marker='o')plt.xlim([0,15])    #横轴刻度变成0-15(0, 15)

设置标题,轴标签,刻度以及刻度标签

fig = plt.figure();ax = fig.add_subplot(1,1,1)ax.plot(np.random.randn(1000).cumsum())ticks = ax.set_xticks([0,250,500,750,1000])  #设置刻度值labels = ax.set_xticklabels(['one','two','three','four','five'])  #设置刻度标签ax.set_title('My first Plot')  #设置标题ax.set_xlabel('Stage')  #设置轴标签Text(0.5,0,'Stage')

添加图例

图例legend是另一种用于标识图标元素的重要工具。 可以在添加subplot的时候传入label参数

fig = plt.figure(figsize=(12,5));ax = fig.add_subplot(111)ax.plot(np.random.randn(1000).cumsum(),'k',label='one')  #传入label参数,定义label名称ax.plot(np.random.randn(1000).cumsum(),'k--',label='two')ax.plot(np.random.randn(1000).cumsum(),'k.',label='three')#图形创建完后,只需要调用legend参数将label调出来即可。ax.legend(loc='best')  #要求不是很严格的话,建议使用loc=‘best’参数来让它自己选择最佳位置<matplotlib.legend.Legend at 0xa8f5a20>

注解

除标准的图表对象之外,我们还可以自定义添加一些文字注解或者箭头。

注解可以通过text,arrow和annotate等函数进行添加。 text函数可以将文本绘制在指定的x,y坐标位置,还可以进行自定义格式

plt.plot(np.random.randn(1000).cumsum())plt.text(600,10,'test ',family='monospace',fontsize=10) #中文注释在默认环境下并不能正常显示,需要修改配置文件,使其支持中文字体。具体步骤请自行搜索。

保存图表到文件

利用plt.savefig可以将当前图表保存到文件。 例如,要将图表保存为png文件,可以执行

plt.savefig('figpath.png')

文件类型是根据拓展名而定的。其他参数还有:

fname 含有文件路径的字符串,拓展名指定文件类型

dpi 分辨率,默认100 facecolor,edgcolor 图像的背景色,默认‘w’白色

format 显示设置文件格式('png','pdf','svg','ps','jpg'等)

bbox_inches: 图表需要保留的部分。如果设置为“tight”,则将尝试剪除图像周围的空白部分

plt.savefig('./plot.jpg')   #保存图像为plot名称的jpg格式图像<Figure size 432x288 with 0 Axes>

Pandas中的绘图函数

matplotlib是最基础的绘图函数,也是相对较低级的工具。组装一张图表需要单独调用各个基础组件才行。Pandas中有许多基于matplotlib的高级绘图方法,原本需要多行代码才能搞定的图表,使用pandas只需要短短几行。

我们使用的

import matplotlib.pyplot as plt 就调用了pandas中的绘图包

线形图

Series和DataFrame都有一个用于生成各类图表的plot方法。默认情况下,他们生成的是线型图。

s = pd.Series(np.random.randn(10).cumsum(),index=np.arange(0,100,10))s.plot()  #Series对象的索引index会传给matplotlib用作绘制x轴。<matplotlib.axes._subplots.AxesSubplot at 0xf553128>
df = pd.DataFrame(np.random.randn(10,4).cumsum(0),columns=['A','B','C','D'])df.plot()  #plot会自动为不同变量改变颜色,并添加图例<matplotlib.axes._subplots.AxesSubplot at 0xf4f9eb8>

Series.plot方法的参数

label 用于图表的标签

style 风格字符串,'g--'

alpha 图像的填充不透明度(0-1)

kind 图表类型(bar,line,hist,kde等)

xticks 设定x轴刻度值

yticks 设定y轴刻度值

xlim,ylim 设定轴界限,[0,10]

grid 显示轴网格线,默认关闭

rot 旋转刻度标签

use_index 将对象的索引用作刻度标签

logy 在Y轴上使用对数标尺

DataFrame.plot方法的参数

DataFrame除了Series中的参数外,还有一些独有的选项。

subplots 将各个DataFrame列绘制到单独的subplot中

sharex,sharey 共享x,y轴

figsize 控制图像大小

title 图像标题

legend 添加图例,默认显示

sort_columns 以字母顺序绘制各列,默认使用当前顺序

柱状图

在生成线型图的代码中加上kind=‘bar’或者kind=‘barh’,可以生成柱状图或水平柱状图。

fig,axes = plt.subplots(2,1)data = pd.Series(np.random.rand(10),index=list('abcdefghij'))data.plot(kind='bar',ax=axes[0],rot=0,alpha=0.3)data.plot(kind='barh',ax=axes[1],grid=True)<matplotlib.axes._subplots.AxesSubplot at 0xfe39898>

柱状图有一个非常实用的方法:利用value_counts图形化显示Series或者DF中各值的出现频率。

比如df.value_counts().plot(kind='bar')

Python可视化的基础语法就到这里,其他图形的绘制方法大同小异。

二、实践篇

%matplotlib inlineimport numpy as npimport pandas as pdimport matplotlib.pyplot as plt #导入pltimport seaborn as snsimport warnings warnings.filterwarnings('ignore')#忽略警告

加载数据

数据采用kaggle中的共享单车项目 (本案例数据经过预处理) 下载地址:

比赛提供了跨越两年的每小时共享单车租赁数据,包含天气信息和日期信息。

字段说明

datetime(日期) - hourly date + timestampseason(季节) - 1 = spring, 2 = summer, 3 = fall, 4 = winterholiday(是否假日) - whether the day is considered a holidayworkingday(是否工作日) - whether the day is neither a weekend nor holiday

weather(天气等级) -

1: Clear, Few clouds, Partly cloudy 清澈,少云,多云。

2: Mist + Cloudy, Mist + Broken clouds, Mist + Few clouds, Mist 雾+阴天,雾+碎云、雾+少云、雾

3: Light Snow, Light Rain + Thunderstorm + Scattered clouds, Light Rain + Scattered clouds 小雪、小雨+雷暴+散云,小雨+云

4: Heavy Rain + Ice Pallets + Thunderstorm + Mist, Snow + Fog 暴雨+冰雹+雷暴+雾,雪+雾

temp(温度) - temperature in Celsiusatemp(体感温度) - "feels like" temperature in Celsiushumidity(相对湿度) - relative humiditywindspeed(风速) - wind speedcasual(临时租赁数量) - number of non-registered user rentals initiatedregistered(会员租赁数量) - number of registered user rentals initiatedcount(总租赁数量) - number of total rentalsdate(日期) - 由datetime拆分得到hour(小时)-由datetime拆分得到year(年份)-由datetime拆分得到month(月份)-由datetime拆分得到weeekday(周几)-由datetime拆分得到windspeed_rfr(经过随机森林树填充0值得到的风速)

#读取数据#Bikedata = pd.read_csv('./Bike.csv')Bikedata.head()
#查看描述统计Bikedata.describe()
#对于整体数据,我们希望查看与三个租赁数量相关的其他特征值的关系,可以选用seaborn包的pairplot函数(多变量图)sns.pairplot(Bikedata,x_vars=['holiday','workingday','season','weather','hour','windspeed_rfr','atemp','humidity','temp'],y_vars=['count','registered','casual'],plot_kws={'alpha': 0.1})<seaborn.axisgrid.PairGrid at 0xadcef98>

大致可以看出:会员在工作日出行较多,节假日次数减少,而临时用户相反,第一季度出行人数总体偏低,出行人数受天气影响较大,会员在每天早晚有两个高峰期,对应上下班时间;非会员在下午出行较密集 风速对出行人数有较大的影响 相对湿度,温度和体感温度对非会员出行影响较大,对会员出行影响较小。

#接下来,我们通过相关系数的大小来依次对特征进行可视化分析#首先,列出相关系数矩阵:df.corr()corrdf = Bikedata.corr()corrdf
#各特征按照与租赁总量count的相关系数大小进行排序corrdf['count'].sort_values(ascending=False)count            1.000000registered       0.966209casual           0.704764hour             0.405437temp             0.385954atemp            0.381967year             0.234959month            0.164673season           0.159801windspeed_rfr    0.111783windspeed        0.106074weekday          0.022602holiday          0.002978workingday      -0.020764weather         -0.127519humidity        -0.317028Name: count, dtype: float64

可见,特征对租赁总量的影响力为:

时段>温度>湿度>年份>月份>季节>天气>风速>工作日>节假日

对特征逐项分析

首先对时段进行分析

第一步

提出问题:租赁总量对应时段的变化趋势

适合图形:因为时段属于连续性数值变量,我们可以选择折线图反应变化趋势

第二步

转换数据:我们需要一个二维数据框,存储每个时段对应的三个租赁数,租赁数取平均值

应用函数:直接应用plt的plot函数即可完成折线图

workingday_df = Bikedata[Bikedata['workingday']==1]#tworkingday_df = workingday_df.groupby(['hour'],as_index=True).agg({'count':'mean','registered':'mean','casual':'mean'})nworkingday_df = Bikedata[Bikedata['workingday']==0]nworkingday_df = nworkingday_df.groupby(['hour'],as_index=True).agg({'count':'mean','registered':'mean','casual':'mean'})nworkingday_df.head()
第三步:设置参数
figure,axes = plt.subplots(1,2,sharey=True)#设置一个1*2的画布,且共享y轴workingday_df.plot(figsize=(15,5),title='The average number of rentals initiated per hour in the working day',ax=axes[0])nworkingday_df.plot(figsize=(15,5),title='The average number of rentals initiated per hour in the nworking day',ax=axes[1])<matplotlib.axes._subplots.AxesSubplot at 0xe452940>

可以看出:1.在工作日,会员出行对应两个很明显的早晚高峰期,并且在中午会有一个小的高峰,可能对应中午外出就餐需求;2.工作日非会员用户出行高峰大概在下午三点;3.工作日会员出行次数远多于非会员用户;4.在周末,总体出行趋势一致,大部分用车发生在11-5点这段时间,早上五点为用车之最

对温度进行分析

第一步

提出问题:租赁总量对应温度的变化趋势

适合图形:因为温度属于连续性数值变量,我们可以选择折线图反应变化趋势

第二步

转换数据:我们需要一个二维数据框,按照温度变化排序,取对应的三个租赁数的平均值

应用函数:直接应用plt的plot函数即可完成折线图

第三步

参数设置:只需要设置折线图的标题,其他参数默认

temp_df = Bikedata.groupby(['temp'],as_index='True').agg({'count':'mean','registered':'mean','casual':'mean'})temp_df.plot(title = 'The average number of rentals initiated  per hour changes with the temperature')<matplotlib.axes._subplots.AxesSubplot at 0xe57d7f0>

1.随着温度的升高,租赁数量呈上升趋势;2.在温度达到35度时,因天气炎热,总体数量开始下降;3.在温度在4度时,租赁数达到最低点;

湿度对租赁数量的影响

第一步

提出问题:租赁总量对应湿度的变化趋势

适合图形:因为湿度属于连续性数值变量,我们可以选择折线图反应变化趋势

第二步

转换数据:我们需要一个二维数据框,按照温度变化排序,取对应的三个租赁数的平均值

应用函数:直接应用plt的plot函数即可完成折线图

第三步

参数设置:只需要设置折线图的标题,其他参数默认

humidity_df = Bikedata.groupby(['humidity'],as_index=True).agg({'count':'mean','registered':'mean','casual':'mean'}humidity_df.plot(title='Average number of rentals initiated  per hour in different humidity')<matplotlib.axes._subplots.AxesSubplot at 0xe582400>

可以观察到在湿度20左右租赁数量迅速达到高峰值,此后缓慢递减。

年份,月份和季节作图方法类似,都采用折线图绘制,这里省略。

查看不同天气对出行情况的影响

第一步

提出问题:租赁总量对应湿度的变化趋势

适合图形:因为湿度属于连续性数值变量,我们可以选择折线图反应变化趋势

第二步

转换数据:我们需要一个二维数据框,按照温度变化排序,取对应的三个租赁数的平均值

应用函数:直接应用plt的plot函数即可完成折线图

第三步

参数设置:只需要设置折线图的标题,其他参数默认

weather_df = Bikedata.groupby(['weather'],as_index=True).agg({'registered':'mean','casual':'mean'})weather_df.plot.bar(stacked=True,title='Average number of rentals initiated per hour in different weather')<matplotlib.axes._subplots.AxesSubplot at 0xe7e0a90>

观察到天气等级为4时,平均出行人数比天气等级为2时还要高,这不符合常理

我们查看一下天气等级为4的详细情况:

count_weather = Bikedata.groupby('weather')count_weather[['casual','registered','count']].count()

天气状况为4级的只有一天,我们把数据打印出来查看一下

Bikedata[Bikedata['weather']==4]

时间为工作日的下午六点钟,属于晚高峰异常数据,不具有代表性。

查看会员用户和临时用户在整体用户中的比例

第一步

提出问题:查看会员用户和临时用户在整体用户中的比例

适合图形:查看占比,适合用饼图pie

第二步

转换数据:需要一个二维数据框,按天数取两种用户的平均值

应用函数:应用plt的plot.pie函数绘制饼图

第三步

参数设置:这是数据标签和类别标签

#考虑到相同日期是否工作日,星期几,以及所属年份等信息是一样的,把租赁数据按天求和,其它日期类数据取平均值day_df = Bikedata.groupby(['date'], as_index=False).agg({'casual':'sum','registered':'sum','count':'sum', 'workingday':'mean','weekday':'mean','holiday':'mean','year':'mean'})day_df.head()
#按天取两种类型用户平均值number_pei=day_df[['casual','registered']].mean()number_peicasual         517.411765registered    2171.067031dtype: float64#绘制饼图plt.axes(aspect='equal')  plt.pie(number_pei, labels=['casual','registered'], autopct='%1.1f%%', pctdistance=0.6 , labeldistance=1.05 , radius=1 )  plt.title('Casual or registered in the total lease')Text(0.5,1,'Casual or registered in the total lease')

python作图的简单案例

总结

1.要清楚自己想表达什么,有了明确的问题,选择合适的图形,然后按照需求从整体数据中选择自己需要的数据,查阅资料了解函数的参数设置,最后完成图形的绘制。

2.matplotlib是python绘图的基础,也是其他拓展包的基础,认真学习matplotlib的常用图形和参数是很有必要的。

3.学习期间思考为什么要加载matplotlib.pyplot?

End.

作者:开运张

来源:知乎专栏

标签: #python处理csv数据 cumsum