龙空技术网

Python骚操作!数据分析应用案例分享

爱数据网 1238

前言:

此时看官们对“r语言计算aic”大约比较珍视,咱们都想要知道一些“r语言计算aic”的相关内容。那么小编在网上网罗了一些有关“r语言计算aic””的相关文章,希望各位老铁们能喜欢,大家一起来了解一下吧!

“爱数据学习社”关注我们吧! -

文末领取【Pandas题库】

用Python进行数据分析的好处是,它的数据分析库目前已经很全面了,有NumPy、pandas、SciPy、scikit-learn、StatsModels,还有深度学习、神经网络的各类包。基本上能满足大部分的企业应用。

而且Python是数据抽取、数据收集整理、数据分析挖掘、数据展示,都可以在同一种Python里实现,避免了开发程序的切换。

这里就和大家分享我做的一个应用实例。解决问题:自动进行销售预测,提高准确率,减少人工一个一个SKU进行预测分析。最终的效果如下图:

01 用到的工具

当然我们只需要用Python和一些库就可以了。

pandas:数据整理numpy:pandas的前提,科学计算MySQLdb:mysql数据库链接statsmodels:统计建模pylab:图形处理flask:web框架

02 Flask的安装

在Flask的app目录下建立一个forecasting.py的python文件,在Flask的app的templates目录下建立一个forecastin.html的模版文件,两个文件的内容如下:

forecasting.py

# -*- coding: utf-8 -*- from app import appfrom flask import render_template@app.route('/forecasting/')def forecasting(item=None): return render_template("forecasting.html")

forecastin.html

<!doctype html><title>Hello World</title>Hello World

在DOS窗口运行

python d:pyflaskrun.py

在浏览器打开就可以看到forecasting.html模版的内容显示了。

接下来我们从头建一个预测模型。

03 建立数据库并填写数据

CREATE TABLE [Math Processing Error] ( [Math Processing Error] datetime DEFAULT , [Math Processing Error] float DEFAULT ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

数据自己录入啦。

04 相关库的引入

我们现在在之前第2点建立的文件的基础上进行修改,

在forecasting.py的头部引入以下库

# -*- coding: utf-8 -*- from app import appfrom flask import render_templateimport pylabimport pandas as pdimport numpy as npfrom pandas import Series,DataFrameimport MySQLdbimport pandas.io.sql as sqlimport statsmodels.api as smimport timeimport datetimefrom dateutil.relativedelta import relativedeltaimport random

05 定义路由

@app.route('/forecasting/<int:lag>')

意思就是我们访问例如的地址对于就是解析到forecasting.py文件,其中<int:lag>是可变的URL部分,如上面的URL的2

06 定义函数

def forecasting(lag=None):

其中lag就是接受URL中的参数,我们定义lag是自回归函数的滞后期数。

07 数据库链接

conn = MySQLdb.connect(host='127.0.0.1',user='root',passwd='123456',db='bi',charset='utf8')str_sql = "select SaleMonth as Month,Sale from sale order by SaleMonth"sale=sql.read_sql(str_sql,conn)

08 数据处理

我们整理数据以适合使用。

##//数据处理 #转换数据中的月份为日期类型,并把它定义为pandas索引 sale.Month = pd.to_datetime(sale.Month) sale = sale.set_index("Month") ##//提取最大月份和最小月份 start = min(sale.index) end = max(sale.index) ##定义预测的月份,在最大月份的基础上加1-4 pre_start =end+relativedelta(months=1) pre_end =end+relativedelta(months=4) #必要的转换 pre_start =pre_start.strftime('%Y-%m-%d') pre_end =pre_end.strftime('%Y-%m-%d') #生成时间序列,从最小月份到最大月份 i = pd.date_range(start, end, freq='MS') df = DataFrame(i,i) #定义列、定义索引index名 df.columns = ['T'] df.index.names =['Month'] #把sale与df合并,通过索引 rs = pd.merge(sale,df,left_index=True,right_index=True,how='outer') #删除临时列T,并把rs转换为html,方便后面输出到模版中 del rs['T'] data = rs.to_html

09 数据预测

##预测 #对rs进行对数变换 rs = np.log(rs) #对rs进行自回归,lag是自回归的滞后因子,来自函数的lag参数,即来自RUL的参数 r = sm.tsa.AR(rs).fit(maxlag=lag, method='mle', disp=-1) #对未来四个月进行预测 fcst_lg = r.predict(start,pre_end) #对预测的结果进行指数变换,因为之前做了对数变换 fcst = np.exp(fcst_lg) #转换fcst为pandas的DataFrame格式 fcst = DataFrame(fcst) #定义列名和索引,用于和原来的rs合并 fcst.columns=['fcst'] fcst.index.names =['Month'] #合并fcst和rs到rs_out rs_out = pd.merge(sale,fcst,left_index = True,right_index = True,how='outer') #rs_out转换为记录格式,再转换为html格式,以方便输出到模版中显示 #取得最后的4行作为预测的显示输出,不知道为什么rs_out[-4:-1]这个输出漏了最后一行 rs_fcst = rs_out[-4:-1] rs_fcst = rs_fcst.to_html  rs2 = rs_out.to_records rs_out = rs_out.to_html

10 数据整理

我使用了echart web图标框架进行显示。

##以下是处理表格数据输出到echart的json格式 tmp=u"<chart caption='销售及预测拟合' subcaption='过去所有数据' xaxisname='月份' yaxisname='销售/预测' theme='fint'>" tmp1="" tmp2="" tmp3="" for t in rs2: #tmp1 += "{'label':'" + str(t.Month.year)+"/"+str(t.Month.month) + "','value':'" + str(t.Qty) + "'}," #tmp1 += "<category label='"+str(t.Month.year)+"/"+str(t.Month.month)+"' />" tmp1 += "'"+str(t.Month.year)+"/"+str(t.Month.month)+"'," #tmp2 += "<set value='"+ str('%.2f' % t.Sale) +"' />" tmp2 += str('%.0f' % t.Sale) +"," #tmp3 += "<set value='"+ str('%.2f' % t.fcst) +"' />" tmp3 += str('%.0f' % t.fcst) +"," tmp +="<categories>"+tmp1+"</categories>" tmp +=u"<dataset seriesname='销售'>"+tmp2+"</dataset>" tmp +=u"<dataset seriesname='预测' renderas='line' showvalues='0'>"+tmp3+"</dataset>"+"</chart>" tmp1 = tmp1[:-1] tmp2 = tmp2[:-1] tmp2 = tmp2.replace('nan',''-'') tmp3 = tmp3[:-1] tmp=u'''{ title : {text: '测试',subtext: '纯属虚构'}, tooltip : {trigger: 'axis'}, legend: {data:['实际销售','预测销售']}, toolbox: { show : true, feature : { mark : {show: false},dataView : {show: true, readOnly: false}, magicType : {show: true, type: ['line', 'bar']}, restore : {show: true},saveAsImage : {show: false} } }, calculable : true, dataZoom : {show : true,realtime : true,start : 0,end : 100}, xAxis : [{type : 'category',data : [%s]}], yAxis : [{type : 'value',min : 5000,scale : true}], series : [ { name:'实际销售',type:'bar',data:[%s], markPoint : { data : [{type : 'max', name: '最大值'},{type : 'min', name: '最小值'}] }, markLine : {data : [{type : 'average', name: '平均值'}]} }, { name:'预测销售',type:'line',data:[%s], } ] };''' %(tmp1,tmp2,tmp3)

11 生成公式

生成一个公式能更直观显示变量之间的关系。

#生成动态公式图片 rp = r.params ftext='' i=0 for rp1 in rp: if (i==0) and (rp1>0) :const = '+' + str(("%.4f" % rp1)) if (i==0) and (rp1<0) :const = str(("%.4f" % rp1)) if (i==1):ftext = ftext + str(("%.4f" % rp1))+'y_{t-'+str(i)+'}' if (i>1) and (rp1>0):ftext = ftext + '+' + str(("%.4f" % rp1))+'y_{t-'+str(i)+'}' if (i>1) and (rp1<0):ftext = ftext + str(("%.4f" % rp1))+'y_{t-'+str(i)+'}' i +=1 f = r'$y_{t}='+ftext+const + '$' f2 = r'$y=ln(w_{t})$' fig = pylab.figure #设置背景为透明 fig.patch.set_alpha(0) text = fig.text(0, 0, f) # 把公式用公式图片的方式保存 dpi = 300 fig.savefig('d:/py/formula.png', dpi=dpi) # Now we can work with text's bounding box. bbox = text.get_window_extent width, height = bbox.size / float(dpi/4) + 0.005 # Adjust the figure size so it can hold the entire text. fig.set_size_inches((width, height)) # Adjust text's vertical position. dy = (bbox.ymin/float(dpi))/height text.set_position((0, -dy)) # Save the adjusted text. url = 'D:/py/Flask/app/static/images/1.png' fig.savefig(url, dpi=dpi)

12 输出到模版

把py程序中的在模版中用到的结果输出到模版。

#生成动态公式图片 rp = r.params ftext='' i=0 for rp1 in rp: if (i==0) and (rp1>0) :const = '+' + str(("%.4f" % rp1)) if (i==0) and (rp1<0) :const = str(("%.4f" % rp1)) if (i==1):ftext = ftext + str(("%.4f" % rp1))+'y_{t-'+str(i)+'}' if (i>1) and (rp1>0):ftext = ftext + '+' + str(("%.4f" % rp1))+'y_{t-'+str(i)+'}' if (i>1) and (rp1<0):ftext = ftext + str(("%.4f" % rp1))+'y_{t-'+str(i)+'}' i +=1 f = r'$y_{t}='+ftext+const + '$' f2 = r'$y=ln(w_{t})$' fig = pylab.figure #设置背景为透明 fig.patch.set_alpha(0) text = fig.text(0, 0, f) # 把公式用公式图片的方式保存 dpi = 300 fig.savefig('d:/py/formula.png', dpi=dpi) # Now we can work with text's bounding box. bbox = text.get_window_extent width, height = bbox.size / float(dpi/4) + 0.005 # Adjust the figure size so it can hold the entire text. fig.set_size_inches((width, height)) # Adjust text's vertical position. dy = (bbox.ymin/float(dpi))/height text.set_position((0, -dy)) # Save the adjusted text. url = 'D:/py/Flask/app/static/images/1.png' fig.savefig(url, dpi=dpi)

13 设计模版

我们可以用{{变量名}}来接受来自py程序的变量。

<!doctype html><title>分析结果</title><script type="text/javascript" src="{{url_for('static', filename='ECharts/doc/asset/js/esl/esl.js')}}"></script> <script type="text/javascript"> // 路径配置 require.config({ paths:{  'echarts' : '/static/ECharts/build/echarts', 'echarts/chart/bar' : '/static/ECharts/build/echarts', 'echarts/theme/macarons':'/static/ECharts/src/theme/macarons',  } }); require( [ 'echarts', 'echarts/theme/macarons',  'echarts/chart/bar', // 使用柱状图就加载bar模块,按需加载 'echarts/chart/line' // 使用柱状图就加载bar模块,按需加载 ], function (ec,theme) { // 基于准备好的dom,初始化echarts图表 var myChart = ec.init(document.getElementById('main'),theme);  var option = {{tmp | safe}} myChart.setOption(option);  } );</script><style>.right{text-align: right}body{font-size: 12px;background:white}</style><div style="width:970px;"> <div id="main" style="float:left;height:300px;width:600px;"></div> <div style="float:left;height:300px;width:350px;margin-left:10px;"> Summary of AR Results <table border=0 style="width:200px"> <tr> <td colspan=2></td> </tr> <tr> <td>Lag length:</td> <td class='right'>{{r.k_ar}}</td> </tr> <tr> <td>Samples:</td> <td class='right'>{{r.nobs}}</td> </tr> <tr> <td>Model:</td> <td class='right'>AR</td> </tr> </table> -----------------------------------------<br> <table border=0 style="width:350px"> <tr> <td>AIC:</td> <td class='right'>{{'%.4f' % r.aic}}</td> <td>BIC:</td> <td class='right'>{{'%.4f' % r.bic}}</td> </tr> <tr> <td>FPE:</td> <td class='right'>{{'%.4f' % r.fpe}}</td> <td>HQIC:</td> <td class='right'>{{'%.4f' % r.hqic}}</td> </tr> </table> ----------------------------------------------------------<br> Results for equation<br> ==========================================================<br> <table border=0 style="width:280px"> <tr style="border-bottom:1px solid red"> <td>X</td> <td class='right'>coefficient</td> <td class='right'>std.error</td> <td class='right'>t-stat</td> <td class='right'>p-value</td> </tr> {% for i in range(lag+1) %} <tr> {% if i==0 %} <td>const</td> {% else %} <td>Y(t-{{i}})</td> {% endif %} <td class='right'>{{'%.4f' % r.params[i]}}</td> <td class='right'>{{'%.4f' % r.bse[i]}}</td> <td class='right'>{{'%.4f' % r.tvalues[i]}}</td> <td class='right'>{{'%.4f' % r.pvalues[i]}}</td> </tr> {% endfor %} </table> ----------------------------------------------------------<br> 预测<br> ==========================================================<br>  {{rs_fcst | safe}} </div></div><div style="width:970px;margin-bottom:10px;"><img height=24 src = "../../../static/images/1.png?"><br>

14 实际应用

在这个例子中,我们只是对一个产品、一个模型、一个参数进行了预测。

在实际应用中,可以批量对产品、多个模型、多种参数进行预测,写一个判定预测模型好坏的算法,自动确定每种产品的最优模型和参数,定期自动计算各产品的预测值。

希望这个思路能帮到大家。

End.

作者:梁斌炜

来源:

本文为转载分享,如有侵权请联系后台删除

长按下方海报添加微信领取【Pandas题库】

· 爱数据每周免费直播 ·

直播主题:留学生:海归如何做好职业生涯规划?

直播内容:

“四大”等咨询公司和外企是不是优选?留学生如何放大优势?如何更好的适应国内的工作环境?

直播时间:6月24日明晚20:30准时直播分享

标签: #r语言计算aic #python计算aic #python数据分析与应用第六章