龙空技术网

#yyds干货盘点# Python - 爬虫_Ajax的请求方式

即将苏醒的Python 296

前言:

眼前兄弟们对“如何查看ajax请求”大概比较注重,我们都需要了解一些“如何查看ajax请求”的相关资讯。那么小编在网摘上收集了一些有关“如何查看ajax请求””的相关内容,希望我们能喜欢,兄弟们一起来了解一下吧!

一、Ajax的get请求方法:

# get请求# 获取豆瓣电影的第一页的数据 并且保存起来import urllib.requesturl = ';headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'}# (1) 请求对象的定制request = urllib.request.Request(url=url,headers=headers)# (2)获取响应的数据response = urllib.request.urlopen(request)content = response.read().decode('utf-8')# (3) 数据下载到本地# open方法默认情况下使用的是gbk的编码  如果我们要想保存汉字 那么需要在open方法中指定编码格式为utf-8# encoding = 'utf-8'# fp = open('douban.json','w',encoding='utf-8')# fp.write(content)# 这里需要记得关闭文件,with方法就是自动关闭with open('douban1.json','w',encoding='utf-8') as fp:    fp.write(content)注意:1. 数据换行:ctrl + alt + L2. open方法默认情况下使用的是gbk的编码  如果我们要想保存汉字 那么需要在open方法中指定编码格式为utf-8、 encoding = 'utf-8'

思路:

抓请求接口(URL 、请求方式)获取豆瓣电影的第一页数据,并且保存起来(URL、UA请求头)请求对象的定制获取响应的数据数据下载到本地(写入文件,如果json数据就要以json方式进行保存下来)爬取多页:

#  start=0&limit=20#  start=20&limit=20#  start=40&limit=20#  start=60&limit=20# page    1  2   3   4# start   0  20  40  60# start (page - 1)*20# 下载豆瓣电影前10页的数据# (1) 请求对象的定制# (2) 获取响应的数据# (3) 下载数据import urllib.parseimport urllib.requestdef create_request(page):    base_url = ';# 拼接数据    data = {        'start':(page - 1) * 20,        'limit':20    }    data = urllib.parse.urlencode(data)    url = base_url + data    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'    }    request = urllib.request.Request(url=url,headers=headers)    return requestdef get_content(request):    response = urllib.request.urlopen(request)    content = response.read().decode('utf-8')    return contentdef down_load(page,content):    with open('douban_' + str(page) + '.json','w',encoding='utf-8')as fp:        fp.write(content)# 程序的入口if __name__ == '__main__':    # 这里将字符串转换为整型    start_page = int(input('请输入起始的页码'))    end_page = int(input('请输入结束的页面'))    for page in range(start_page,end_page+1):#         每一页都有自己的请求对象的定制        request = create_request(page)#         获取响应的数据        content = get_content(request)#         下载        down_load(page,content)

思路:

检查接口地址:(爬取多页地址,检查多页的接口信息,分析接口特点)编写一个入口(企业级开发思路)编写起始、结束页码写一个循环配置(遍历一下)定制一个方法(每一页都有自己的请求对象定制,URL、拼接数据、请求头,传递参数(这里由于底下实参page和create_request中的形参使用了同一个变量名,但是传递的东西不是一样的))加入parse编码转换,进行拼接URL获取响应的数据(创建一个方法:get_content)返回数据啊(必然啊)下载数据啊(down_load)

注意:1. Ajax - 懒加载2. 如果跟 + 连接,前后数据必须一样(需要加强制类型转化)
二、Ajax的Post请求方法:
# 1页#  post# cname: 北京# pid:# pageIndex: 1# pageSize: 10# 2页#  post# cname: 北京# pid:# pageIndex: 2# pageSize: 10import urllib.requestimport urllib.parsedef create_request(page):    base_url = ';    data = {        'cname': '北京',        'pid':'',        'pageIndex': page,        'pageSize': '10'    }    data = urllib.parse.urlencode(data).encode('utf-8')    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'    }    request = urllib.request.Request(url=base_url,headers=headers,data=data)    return requestdef get_content(request):    response = urllib.request.urlopen(request)    content = response.read().decode('utf-8')    return contentdef down_load(page,content):    with open('kfc_' + str(page) + '.json','w',encoding='utf-8')as fp:        fp.write(content)if __name__ == '__main__':    start_page = int(input('请输入起始页码'))    end_page = int(input('请输入结束页码'))    for page in range(start_page,end_page+1):        # 请求对象的定制        request = create_request(page)        # 获取网页源码        content = get_content(request)        # 下载        down_load(page,content)

思路:

逐页分析,查看区别其余同上

注意:1. post 请求,必须要编码

各位路过的朋友,如果觉得可以学到些什么的话,点个赞 再走吧,欢迎各位路过的大佬评论,指正错误,也欢迎有问题的小伙伴评论留言,私信。

每个小伙伴的关注都是本人更新头条的动力!!!

原文:

标签: #如何查看ajax请求 #ajaxget参数拼接