龙空技术网

Python爬虫爬取网上图片源码,可用来制作深度学习数据集

新疆于大果 727

前言:

此时看官们对“python 爬虫源码”可能比较注意,同学们都需要学习一些“python 爬虫源码”的相关文章。那么小编也在网摘上网罗了一些关于“python 爬虫源码””的相关资讯,希望小伙伴们能喜欢,小伙伴们一起来学习一下吧!

这次利用python设计一个爬取百度图片上的图片的源码,其中利用的是python的urllib,如果没有装的,可以使用Anconda在环境里进行安装或者

pip install urllib 

这两种方式都可以安装,长话短说,上图吧,点击运行后,输入你要下载的图片类型:

比如,熊猫?美女?还是熊猫先吧

再来美女试试!

咋都是这么性感!

那么是不是百度图片页面搜索的那样呢?

看一下,对比一下,是的!

提示:有时会出现页面错误的信息,如下

那就说明前60张爬不下来,想想也就不斗智斗勇了,百度里的图片还是有很多的,能爬多少是多少得了!

这个可不是简单的随意爬取图片的吶,这个等你在深度学习后面做网络训练制作数据集时,可以从网上爬取一些你需要的训练图片资源的。不要用错地方了。。

附上源码:

(对于其中的url一栏,如果有兴趣,可以关注我后私信给我,然后我后台发给你使用,这也是和有兴趣的同学一个交流的机会,嘿嘿)

import urllib.requestimport urllib.parseimport reimport os# 添加header,其中Referer是必须的,否则会返回403错误,User-Agent是必须的,这样才可以伪装成浏览器进行访问header = \ { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36', "referer": "" }#这里url是一个非常主要的url,可以直接访问baidu网址的,这个不容易外传,所以就不写全了url = ";ipn=rj&ct=201326592&is=&fp"keyword = input("请输入搜索关键字:")# 转码keyword = urllib.parse.quote(keyword, 'utf-8')n = 0j = 0while (n < 1000): error = 0 n += 30 # url url1 = url.format(word=keyword, pageNum=str(n)) # 获取请求 rep = urllib.request.Request(url1, headers=header) # 打开网页 rep = urllib.request.urlopen(rep) # 获取网页内容 try: html = rep.read().decode('utf-8') # print(html) except: print("出错了!") error = 1 print("出错页数:" + str(n)) if error == 1: continue # 正则匹配 p = re.compile("thumbURL.*?\.jpg") # 获取正则匹配到的结果,返回list s = p.findall(html) if os.path.isdir("D://pic") != True: os.makedirs("D://pic") with open("testpic.txt", "a") as f: # 获取图片 for i in s: print(i) i = i.replace('thumbURL":"', '') print(i) f.write(i) f.write("\n") # 保存图片 urllib.request.urlretrieve(i, "D://pic/pic{num}.jpg".format(num=j)) j += 1 f.close()print("总共爬取图片数为:" + str(j))

标签: #python 爬虫源码