前言:
今天你们对“python爬取整个网站”大概比较着重,咱们都需要知道一些“python爬取整个网站”的相关知识。那么小编也在网摘上汇集了一些对于“python爬取整个网站””的相关资讯,希望各位老铁们能喜欢,咱们一起来了解一下吧!缺不缺好看的桌面呢?这边来爬取网站超清图片吧
本次爬虫用到的网址是:
: 彼岸桌面.里面有很多的好看壁纸,而且都是可以下载高清无损的,还比较不错,所以我就拿这个网站练练手。
作为一个初学者,刚开始的时候,无论的代码的质量如何,总之代码只要能够被正确完整的运行那就很能够让自己开心的,如同我们的游戏一样,能在短时间内得到正向的反馈,我们就会更有兴趣去玩。
学习也是如此,只要我们能够在短期内得到学习带来的反馈,那么我们的对于学习的欲望也是强烈的。能够完整的完整此次爬虫程序的编写,那便是一个最大的收货,但其实我在此次过程中的收获远不止此。
好的代码其实应该具有以下特性
能够满足最关键的需求容易理解有充分的注释使用规范的命名没有明显的安全问题经过充分的测试
就以充分的测试为例,经常写代码的就应该知道,尽管多数时候你的代码没有BUG,但那仅仅说明只是大多数情况下是稳定的,但是在某些条件下就会出错(达到出错条件,存在逻辑问题的时候等)。这是肯定的。至于什么原因,不同的代码有不同的原因。如果代码程序都是一次就能完善的,那么我们使用的软件的软件就不会经常更新了。其他其中的道理就不一 一道说了,久而自知。
好的代码一般具有的5大特性
1.便于维护2.可复用3.可扩展4.强灵活性5.健壮性
经过我的代码运行我发现时间复杂度比较大,因此这是我将要改进的地方,但也不止于此。也有很多利用得不合理的地方,至于存在的不足的地方就待我慢慢提升改进吧!
路过的大佬欢迎留下您宝贵的代码修改意见,
完整代码如下
import osimport bs4import reimport timeimport requestsfrom bs4 import BeautifulSoupdef getHTMLText(url, headers): """向目标服务器发起请求并返回响应""" try: r = requests.get(url=url, headers=headers) r.encoding = r.apparent_encoding soup = BeautifulSoup(r.text, "html.parser") return soup except: return ""def CreateFolder(): """创建存储数据文件夹""" flag = True while flag == 1: file = input("请输入保存数据文件夹的名称:") if not os.path.exists(file): os.mkdir(file) flag = False else: print('该文件已存在,请重新输入') flag = True # os.path.abspath(file) 获取文件夹的绝对路径 path = os.path.abspath(file) + "\\" return pathdef fillUnivList(ulist, soup): """获取每一张图片的原图页面""" # [0]使得获得的ul是 <class 'bs4.BeautifulSoup'> 类型 div = soup.find_all('div', 'list')[0] for a in div('a'): if isinstance(a, bs4.element.Tag): hr = a.attrs['href'] href = re.findall(r'/desk/[1-9]\d{4}.htm', hr) if bool(href) == True: ulist.append(href[0]) return ulistdef DownloadPicture(left_url,list,path): for right in list: url = left_url + right r = requests.get(url=url, timeout=10) r.encoding = r.apparent_encoding soup = BeautifulSoup(r.text,"html.parser") tag = soup.find_all("p") # 获取img标签的alt属性,给保存图片命名 name = tag[0].a.img.attrs['alt'] img_name = name + ".jpg" # 获取图片的信息 img_src = tag[0].a.img.attrs['src'] try: img_data = requests.get(url=img_src) except: continue img_path = path + img_name with open(img_path,'wb') as fp: fp.write(img_data.content) print(img_name, " ******下载完成!")def PageNumurl(urls): num = int(input("请输入爬取所到的页码数:")) for i in range(2,num+1): u = "; + str(i) + ".htm" urls.append(u) return urlsif __name__ == "__main__": uinfo = [] left_url = "; urls = [";] headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36" } start = time.time() # 1.创建保存数据的文件夹 path = CreateFolder() # 2. 确定要爬取的页面数并返回每一页的链接 PageNumurl(urls) n = int(input("访问的起始页面:")) for i in urls[n-1:]: # 3.获取每一个页面的首页数据文本 soup = getHTMLText(i, headers) # 4.访问原图所在页链接并返回图片的链接 page_list = fillUnivList(uinfo, soup) # 5.下载原图 DownloadPicture(left_url, page_list, path) print("全部下载完成!", "共" + str(len(os.listdir(path))) + "张图片") end = time.time() print("共耗时" + str(end-start) + "秒")
运行
部分展示结果如下:
起学Python,一起写代码,加油!奥利给!!!
标签: #python爬取整个网站