龙空技术网

python爬虫,如何爬取京东商品评论并进行数据存储

谷一大叔 86

前言:

此时各位老铁们对“京东物流详情css”大约比较关心,朋友们都想要了解一些“京东物流详情css”的相关内容。那么小编在网络上网罗了一些对于“京东物流详情css””的相关资讯,希望我们能喜欢,兄弟们一起来学习一下吧!

1、首先我们进入商品详情页,打开开发者模式network,点击评论

这里面会有很多内容,评论内容也包含在其中,找到这个 productPageComments

完整的链接:

解释一下:

productId:商品id

page:第几页

pageSize:每页多少条

找到这样的关系之后,代码实现。

import urllib.requestimport jsonimport time# ======》爬取评论信息《=======#end_page = int(input('请输入爬取的结束页码:'))for i in range(0, end_page + 1):    print('第%s页开始爬取------' % (i + 1))    url = '{}&pageSize=10&isShadowSku=0&fold=1 '    url = url.format(i)    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',        'Referer': ';    }    request = urllib.request.Request(url=url, headers=headers)    content = urllib.request.urlopen(request).read().decode('gbk')    content = content.strip('fetchJSON_comment98vv385();')    obj = json.loads(content)    comments = obj['comments']    fp = open('京东.txt', 'a', encoding='utf8')    for comment in comments:        # 评论时间        creationTime = comment['creationTime']        # 评论人        nickname = comment['nickname']        # 评论内容        contents = comment['content']        item = {            '评论时间': creationTime,            '用户': nickname,            '评论内容': contents,        }        string = str(item)        fp.write(string + '\n')    print('第%s页完成----------' % (i + 1))    time.sleep(4)    fp.close()

标签: #京东物流详情css