龙空技术网

pandas数据保存至Mysql数据库

天善智能 965

前言:

目前同学们对“mysql把查询结果输出到本地文件”大约比较关怀,咱们都需要了解一些“mysql把查询结果输出到本地文件”的相关知识。那么小编在网摘上搜集了一些关于“mysql把查询结果输出到本地文件””的相关文章,希望大家能喜欢,大家快快来学习一下吧!

感谢关注天善智能,走好数据之路↑↑↑

欢迎关注天善智能,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习,问答、求职一站式搞定!

每周2-3场免费数据领域公开课,每月线下活动,欢迎关注!

前言

好久没写文章了,你们想我了没【我就是这样,你习惯就好】

前段时间写了两篇mysql和python交互的文章

第一篇局限于导入一条数据进入数据库【主要讲的是面向对象编程和Python数据库操作基础】

传送门:Python操作Mysql数据库入门——查看和增加记录

第二篇讲的是从数据库读取数据到pandas【为数据分析做准备】

传送门:Python操作Mysql数据库入门——数据导入pandas(数据分析准备)

因为最近又在写爬虫,所以想把爬到的数据(dataframe格式)存在mysql里

终于在今天下午成功了

小试牛刀

小试牛刀

注:需要你修改的部分:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

这里我创建了一个简单的df用于测试:

结果运行成功:

本地数据库自动新建了一个test1表,数据成功写入,(我用的mysql客户端软件是:Navicat)

大显身手

当然,我们平时数据清洗好的df或者爬虫爬到的数据做成df怎么保存到mysql呢?

其实现在看起来就很简单了

当然,在这里,我只教会大家怎么保存df到mysql

如果大家对爬虫和数据分析清洗有兴趣,可以看我以前写的文章

我打开了一个爬虫爬到的房地产数据,如下图:

我们看一下数据的df:

我们现在要将这个df写入mysql,就好比爬到的数据或者清洗完的数据写入mysql:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

运行结果是,捕获到了异常:

意思大概是:一部分拉丁无法编码,所以我们设置一下编码方式:charset=utf8

注:需要你修改的部分:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

只修改了这一行代码:

engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s?charset=utf8") % (user, password, host, db))

我们打开本地的数据库,右键刷新:

已经可以看到,数据已经写入mysql了

大家想要加其他功能可以参考:

本文作者:天善智能社区

ID王大伟,人生苦短,我选Python,转行之路如漫漫长夜,唯有不断学习充电保证不停机。

原文地址:

相关课程推荐:

Python3爬虫三大案例实战分享:

Python网络爬虫实战:

标签: #mysql把查询结果输出到本地文件