前言：
当前大家对“html表格大小不变”大约比较珍视，大家都想要分析一些“html表格大小不变”的相关知识。那么小编也在网上搜集了一些有关“html表格大小不变””的相关内容，希望大家能喜欢，你们快快来学习一下吧！爬取某些网站数据，但翻页后网址没有改变，无法爬取多页数据，如何解决？
第1页
第2页
查看表单数据，发现current=1，翻页后变为2，其他参数不变。
主程序：
import requestsfrom time import sleepfrom fake_useragent import UserAgentimport pandas as pdheaders = {"UserAgent":UserAgent().IE}url = "; #实际地址def getPriceData(page): data = { "limit": 20, "current": {page}, "pubDateStartTime":"", "pubDateEndTime":"", "prodPcatid":"", "prodCatid":"", "prodName":"" } resp = requests.get(url,headers=headers,params=data) #get请求参数名为params,post请求参数名为data prodName1 = resp.json() prodName = prodName1['list'] return prodNameif __name__ == "__main__": pagedata = [] for page in range(1,5): prodName = getPriceData(page) #接收返回值 pagedata = pagedata + prodName #加入总列表文件 sleep(1) dfdata = pd.DataFrame(pagedata) #通过DataFrame()将列表转为DataFrame dfdata.to_excel("xfd.xlsx") #将DataFrame直接写入excel文件 print("Programm is Over!!!") 版权声明：
本站文章均来自互联网搜集，如有侵犯您的权益，请联系我们删除，谢谢。
