python如何删除本地夹里重复文件

这篇文章主要介绍了python如何删除本地夹里重复文件，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

Python的优点有哪些

1、简单易用，与C/C++、Java、C# 等传统语言相比，Python对代码格式的要求没有那么严格；2、Python属于开源的，所有人都可以看到源代码，并且可以被移植在许多平台上使用；3、Python面向对象，能够支持面向过程编程,也支持面向对象编程；4、Python是一种解释性语言，Python写的程序不需要编译成二进制代码，可以直接从源代码运行程序；5、Python功能强大，拥有的模块众多，基本能够实现所有的常见功能。

一、方法和思路

1.比对文件是否相同的方法：hashlib库里提供了获取文件md5值的方法，所以我们可以通过md5值来判定是否图片相同

2.对文件的操作：os库里有对文件的操作方法，比如：os.remove（）可以删除指定的文件， os.listdir()可以通过指定文件夹路径获取文件夹里所有文件的文件名

思路：通过获取指定文件夹的所有文件名，然后匹配为一个绝对路径的列表，循环的比对每个文件的md5值，如果md5值重复，则删除这个文件

二、代码实现

import os  import hashlib  import logging  import sys    def logger():   """ 获取logger"""   logger = logging.getLogger()   if not logger.handlers:    # 指定logger输出格式    formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')    # 文件日志    file_handler = logging.FileHandler("test.log")    file_handler.setFormatter(formatter) # 可以通过setFormatter指定输出格式    # 控制台日志    console_handler = logging.StreamHandler(sys.stdout)    console_handler.formatter = formatter # 也可以直接给formatter赋值    # 为logger添加的日志处理器    logger.addHandler(file_handler)    logger.addHandler(console_handler)    # 指定日志的最低输出级别，默认为WARN级别    logger.setLevel(logging.INFO)   return logger    def get_md5(filename):   m = hashlib.md5()   mfile = open(filename, "rb")   m.update(mfile.read())   mfile.close()   md5_value = m.hexdigest()   return md5_value    def get_urllist():   #替换指定的文件夹路径即可   base = ("F:\\pythonFile\\煎蛋网\\无聊图\\jpg\\")   list = os.listdir(base)   urlList=[]   for i in list:    url = base + i    urlList.append(url)   return urlList    if __name__ == '__main__':   log = logger()   md5List =[]   urlList =get_urllist()   for a in urlList:    md5 =get_md5(a)    if (md5 in md5List):     os.remove(a)     print("重复：%s"%a)     log.info("重复：%s"%a)    else:     md5List.append(md5)     # print(md5List)     print("一共%s张照片"%len(md5List))

然后我们可以通过日志来查看到底哪些文件是重复的，不过对于一些超大文件的话，md5值的获取会有一些变化，不过处理一般的小文件都可以的，只需要替换我的路径，就可以在你电脑上运行啦。

感谢你能够认真阅读完这篇文章，希望小编分享的“python如何删除本地夹里重复文件”这篇文章对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，更多相关知识等着你来学习!