龙空技术网

Python爬虫:静态网址的爬取

流光易趣图 457

前言:

目前姐妹们对“css流光文字”大约比较讲究,姐妹们都需要了解一些“css流光文字”的相关内容。那么小编在网上收集了一些有关“css流光文字””的相关资讯,希望看官们能喜欢,朋友们一起来学习一下吧!

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有,如有问题请及时联系我们以作处理

作者:il_持之以恒_li 来源:CSDN

本文链接:

私信小编01即可获取大量Python学习资料

1. 判断网址是静态网址还是动态网址

判断网址是否为静态网址还是动态网址,一般方法是查看网页的源代码或者来到开发者模式下,点击Network,点击All,找到我们想要的那个网址,然后点击Response,如果我们随便搜索一个字段都能在这个网址中找到,那么就应该是静态网址;相反,就是动态网址。如下:我要爬取这个网址下的相应的内容,

我们来到这个界面,点击搜索(Ctrl+F):家常红烧鱼

发现这个网址下有这个字段,说明这是一个静态网址。

2. 需要的Python模块

完成这个项目需要的Python模块有:requests、bs4、urllib.parse、os

其中,第一个模块用于爬取网址上的信息,第二个模块用于解析我们爬取得到的信息,urllib.parse主要是用来进行编码,os模块用于创建文件夹,将菜谱上面的制作方法存储到一个文件中。

3. 具体实现过程

输入自己想了解的菜的名称:用变量keyword接收

得到网址为:url=“”%parse.quote(keyword)

然后再从搜索得到的菜谱中选择一个自己想了解的菜,当然这需要得到这个菜的链接

最后来到这个菜的制作方法的网址

4.实现代码与运行结果

实现代码为:

from urllib import parsefrom bs4 import BeautifulSoupimport requestsimport osclass HaoDou():    def __init__(self,keyword):        self.keyword=keyword        self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400"}        # 模拟浏览器        self.url=";%parse.quote(keyword)    def getResponse(self):        response=requests.get(url=self.url,headers=self.headers)        text=response.text        html=BeautifulSoup(text,"lxml")        list=html.select("div.search-result>div.el-row>div>a")        hrefList=[]        for i in range(len(list)):            print("*"*30)            print("$:【{}】->{}".format(i+1,list[i]['title']))            hrefList.append(list[i]['href'])   # 将网址添加到列表中            list2=list[i].select("div.img-cover.slide-mask>div>span") # 得到食材            infoStr=""            for html2 in list2:                infoStr+=html2.text            print("食材:"+infoStr)        id=int(input("请输入你想看的序号:"))        response2=requests.get(url=';+hrefList[id-1],headers=self.headers)        return response2    def getInfo(self):        text=self.getResponse().text        html=BeautifulSoup(text,'lxml')        list=html.select('div.practice>div.ingredient>div.paixu>div>a')        mainStr=""  # 主料        for i in range(len(list)):            mainStr+=list[i].text+" "        list2=html.select('div.practice>div.accessories>div.paixu>div')        aStr=""  # 辅料        for i in range(len(list2)):            aStr+=list2[i].text+" "        mStr=""        list3=html.select('div.practice>div.practices>div.pai>div')        for i in range(len(list3)):            mStr+=list3[i].text+"\n"        print("主料:"+mainStr)        print("辅料:"+aStr)        print(mStr)  # 制作过程        # 将上述三个字符串写入到文件中        path = "./制作方法"        try:            os.mkdir(path)        except Exception as e:            print(e)        with open(file="{}/{}.txt".format(path,self.keyword),mode="a",encoding='utf-8')as f:            f.write(mainStr+"\n")            f.write(aStr+"\n")            f.write(mStr)        print("已写入到文件中,读者到时候记得去看啊!")if __name__ == '__main__':   	a=HaoDou(input("请输入你想了解的菜:"))    a.getInfo()

运行结果:

运行完成之后,可以发现多了一个制作方法的文件夹,菜的制作方法就在这个文件夹下面的一个文件里面,如:

标签: #css流光文字