龙空技术网

58同城爬取了3w6k多条数据,进行数据清洗和数据分析后进行可视化

Python乐园 160

前言:

此刻兄弟们对“python爬取58同城租房信息”大致比较着重,看官们都需要了解一些“python爬取58同城租房信息”的相关内容。那么小编也在网络上网罗了一些关于“python爬取58同城租房信息””的相关资讯,希望咱们能喜欢,大家一起来学习一下吧!

58同城北京地区爬取了3w6k多条数据,进行数据清洗和数据分析后进行可视化

结果展示

爬取数据展示

图片为mongoDB的可视化工具robomongo 显示3w6千条爬取数据

图片为一个count.py的运行结果 每五秒监视一次爬取结果

爬虫需要解决高频率访问问题,和效率问题的平衡,使用线程池,和IP池防止封IP。 并且解决58同城不同页面的解析。商品展示的页面可能会有好多种,如何处理。

数据清洗过程

使用jupyter notebook (python的web版的IDE) 可以更直观的观看数据做一些处理

讲有问题的数据或者不是很清楚的数据,改成自己想要的格式

下载地址:

标签: #python爬取58同城租房信息