前言:
如今各位老铁们对“python去掉重复数据”大致比较着重,你们都想要剖析一些“python去掉重复数据”的相关文章。那么小编也在网摘上收集了一些对于“python去掉重复数据””的相关资讯,希望朋友们能喜欢,咱们一起来学习一下吧!电脑中重复图片很多,不删吧,占用电脑资源,删除吧,一个一个的找,很是麻烦。还好我们会python,毕竟python号称是世界上无所不能的编程语言(这里请不要讨论谁是世界上最好的编程语言)
1、加载所有图片,获取图片的信息以及图片路径
2、计算每个图片的哈希值,并保存
3、检测每个哈希值,若相同,表明图片相同
4、根据哈希值反推图片的路径,然后进行图片的删除,获取其他操作
建立图片哈希值函数
import numpy as np
import cv2
import os
def dhash(image, hashSize=8):
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
resized = cv2.resize(gray, (hashSize + 1, hashSize))
diff = resized[:, 1:] > resized[:, :-1]
return sum([2 ** i for (i, v) in enumerate(diff.flatten()) if v])
本函数的主要目的是计算每个图片的哈希值
首先我们使用cv2.cvtColor函数把图片从RGB空间转换为灰度照片(便于计算)
然后使用cv2.resize函数把图片缩小(这里的操作也是为了快速计算)
diff = resized[:, 1:] > resized[:, :-1]来计算相邻列像素之间的相对水平梯度
最后返回图片的哈希值
加载图片,计算图片哈希值
hashes = {}
imagePaths=[]
for root, dirs, files in os.walk("dataset"):
for file in files:
imagePaths.append(os.path.join(root, file))
for imagePath in imagePaths:
image = cv2.imread(imagePath)
h = dhash(image)
path = hashes.get(h, [])
path.append(imagePath)
hashes[h] = path
我们新建2个初识变量,一个来保存图片路径,一个来保存图片路径以及图片哈希值的字典
首先使用os.walk("dataset")函数来获取dataset目录下的所有图片
使用for循环来获取所有图片的路径(绝对路径)
使用for循环遍历所有的图片
image = cv2.imread(imagePath)来读取图片
然后使用h = dhash(image)函数来获取图片的哈希值
使用图片哈希值作为key,图片路径作为value,来保存所有图片的哈希值与图片路径
由于字典不会存在2个相同的key,所以,当图片的哈希值相等时,我们把路径都赋值给同一个key值
遍历字典,获取相同图片
for (h, hashedPaths) in hashes.items():
if len(hashedPaths) > 1:
print("same num:", len(hashedPaths))
if -1 <= 0:
same = None
for p in hashedPaths:
image = cv2.imread(p)
image = cv2.resize(image, (150, 150))
if same is None:
same = images
else:
same = np.hstack([montage, image])
cv2.imshow("same", same)
cv2.waitKey(0)
else:
for path in hashedPaths[1:]:
os.remove(path)
我们遍历字典,当某个key值下面对应的图片路径有2个或者2个以上时,这证明存在相识图片
当检测到相识图片时,就可以直接执行
for path in hashedPaths[1:]:
os.remove(path)
函数来进行图片的删除工作,这里我们保留了第一张图片,其他相同图片删除
很多时候,我们想看看相识图片的数量以及其他信息
这里我们打印了相识图片的数量,最后把相识的图片显示出来
标签: #python去掉重复数据