前言:
现时朋友们对“python爬虫书籍推荐”大概比较注意,各位老铁们都需要学习一些“python爬虫书籍推荐”的相关文章。那么小编在网摘上收集了一些对于“python爬虫书籍推荐””的相关资讯,希望各位老铁们能喜欢,姐妹们快快来了解一下吧!前言
今天为大家带来利用Python爬虫抓取豆瓣读书Top250,废话不多说。
Let's start happily
开发工具
Python版本: 3.6.4
相关模块:
requests模块
lxml模块
csv模块
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
思路分析
本文以爬虫抓取豆瓣读书,讲解如何爬取豆瓣读书Top250!
前期准备
1.获取页面内容
for url in urls: html = requests.get(url, headers=headers) selector = etree.HTML(html.text)
2.提取整个豆瓣书籍页面数据
浏览器中打开我们要爬取的页面按F12进入开发者工具,查看我们想要的数据在哪里这里我们需要书籍书名,作者/译者, 星级, 评分, 评语,出版社or时间信息等
infos = selector.xpath('//tr[@class="item"]')
3.获取豆瓣书籍书名', '作者/译者', '出版社or时间信息', '价格', '评分', '评价人数', '评语', '相应的豆瓣链接'。
for info in infos: name = info.xpath('td/div/a/@title')[0] # 书名. url = info.xpath('td/div/a/@href')[0] # 链接. book_infos = info.xpath('td/p/text()')[0] author = book_infos.split('/')[0] # 作者. publisher = book_infos.split('/')[-3] # 出版社. date = book_infos.split('/')[-2] # 出版时间. price = book_infos.split('/')[-1] # 价格. rate = info.xpath('td/div/span[2]/text()')[0] # 评分. number = info.xpath('normalize-space(td/div/span[3]/text())') # 评价人数 comments = info.xpath('td/p/span/text()') # 评语. comment = comments[0] if len(comments) != 0 else "空"
运行结果
4.写入数据
writer.writerow(("《"+name+"》", url, author, publisher, date, price, rate + "分", number, comment))#代码测试2022.8.9无异常
效果展示
标签: #python爬虫书籍推荐