龙空技术网

Python爬虫敏感图片的识别与过滤,了解一下?

娇兮心有之 278

前言:

现在小伙伴们对“感知哈希算法python”大致比较注意,你们都想要知道一些“感知哈希算法python”的相关资讯。那么小编同时在网络上汇集了一些有关“感知哈希算法python””的相关文章,希望你们能喜欢,咱们快快来学习一下吧!

需求

我们需要识别出敏感作者的avatar头像,把”皮卡丘“换成”优雅的python“。

关注后私信小编 PDF领取十套电子文档书籍

敏感图片样本属性:

爬虫获取的图片属性:

替换成:

原理

检查两个图片的相似度,一个简单而快速的算法:感知哈希算法(Perceptual Hash),通过某种提取特征的方式为每个图片计算一个指纹(哈希),这样对比两个图片相似与否就变成了对比两个指纹异同的问题。

实现

Step1.缩小尺寸

将图片缩小到8*8的大小,这样做可以去除图片的细节,只保留结构和明暗等基本信息,同时摒弃不同尺寸和比例带来的图片差异。

Step2.灰度处理

把缩小后的图片转化为64级灰度图(每个像素只有64种颜色)。

Step3.计算平均值

计算所有64个像素的灰度平均值。

Step4.计算哈希

这里哈希的计算方法是:上面说的64个像素的灰度与平均值进行比较,大于或等于平均值记为1,小于记为0。

将每个像素的比较结果组合在一起成为一个64位的二进制整数,这个整数就是此图片的指纹。

Step5.对比哈希

不同图片对比的方法,就是对比它们的64位哈希中,有多少位不一样(汉明距离)。一般来说如果不同的位数不超过5,就说明两张图片很相似,如果大于10,就很可能是两张不同的图片。

代码(python3)

先来安装pillow、requests:

pip3 install pillow requests复制代码

导入包:

from functools import reducefrom PIL import Imageimport requests复制代码

实现图片相似度算法:

# 计算pHash(只需要三行):def phash(img): img = img.resize((8, 8), Image.ANTIALIAS).convert('L') avg = reduce(lambda x, y: x + y, img.getdata()) / 64. return reduce( lambda x, y: x | (y[1] << y[0]), enumerate(map(lambda i: 0 if i < avg else 1, img.getdata())), 0 )# 计算汉明距离:def hamming_distance(a, b): return bin(a^b).count('1')# 计算两个图片是否相似:def is_imgs_similar(img1,img2):	return True if hamming_distance(phash(img1),phash(img2)) <= 5 else False复制代码

结合爬虫:

# 打开本地存放一张敏感图片;# 本次为了方便演示,从新浪图床拉下一张1024X1024的图片,保存命名为sensitive.jpgsensitive_url=""headers = { "User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.0 Safari/532.5"}pic = requests.get(sensitive_url, headers=headers, timeout=300)if pic.status_code == 200: with open("sensitive.jpg", 'wb') as f: f.write(pic.content)sensitive_pic = Image.open("sensitive.jpg")# 爬虫获取的图片target_url=""pic = requests.get(target_url, headers=headers, timeout=300)if pic.status_code == 200: with open("target.jpg", 'wb') as f: f.write(pic.content)target_pic = Image.open("target.jpg")# 判断爬虫获取的图片和敏感图片是否相似if is_imgs_similar(target_pic, sensitive_pic): print("2张图片相似,替换敏感图片为”优雅的python“:{}".format(";h=1230&f=jpeg&s=119846"))else: print("不相似")复制代码

运行结果:

想要学习Python。关注小编头条号,私信【学习资料】,即可免费领取一整套系统的板Python学习教程!

标签: #感知哈希算法python