最近我的手机经常提示存储空间不足，主要是微信和QQ群里接收的文件太多了，平时也没怎么整理。我把这些文件从手机里拷出来，打算整理一下，把该删的文件都删掉，把要备份的文件分门别类存到电脑或网盘上。我突然发现个问题，就是手机里有很多重复文件，文件名不一样，但是内容完全相同。这就搞得我很头疼，手动一个一个文件去对比，再删掉重复的文件会累死的。
于是就有了个想法，用Python写一个小工具，把重复文件都给我列出来，我直接批量勾选删除就行了。
这个小工具是用Python3.8.10和wxPython4.2.0开发的，主要解决这几个问题就能实现了：
- 遍历指定文件夹中的所有文件
- 生成所有文件的MD5哈希值并保存在字典里，字典的key是哈希值，value是一个列表，列表存放所有哈希值一样的文件路径。
- 为了不让界面卡死，在文件处理过程中，需要使用单独的线程。
- 设计GUI，这里我是纯手工写的GUI代码。wxPython官方的示例很齐全，很多控件示例拷过来改改就可以了。
- 调用系统函数打开文件、打开文件所在位置、删除文件。
下面贴几个段关键代码：
遍历文件
# 遍历文件，将所有文件的路径放入一个列表里
def disk_walk(Filepath):
path_collection = []
for dirpath, dirnames, filenames in os.walk(filepath):
for file in filenames:
fullpath = os.path.join(dirpath, file)
path_collection.append(fullpath)
return path_collection
生成文件MD5哈希值
# 生成文件的MD5值，通过比较文件的MD5值，就可以判定两个文件是否一致
def make_hash(file_path):
try:
md5 = hashlib.md5() # 创建一个md5算法对象
with open(file_path, 'rb') as f: # 打开一个文件，必须是'rb'模式打开
while 1:
data = f.read(1024) # 由于是一个文件，每次只读取固定字节
if data: # 当读取内容不为空时对读取内容进行update
md5.update(data)
else: # 当整个文件读完之后停止update
break
ret = md5.hexdigest() # 获取这个文件的MD5值
except OSError:
print('Permission denied: %s' % file_path)
return None
return ret
文件大小格式化输出
# 文件大小格式化输出
def FormatFileSize(size):
for x in ['B', 'KB', 'MB', 'GB', 'TB', 'PB']:
if size < 1024.0:
return "%3.2f %s" % (size, x)
size /= 1024.0
单独线程处理遍历文件和生成MD5哈希值的任务
def PopulateList(self, path, info):
self.info = info
self.list.DeleteAllItems()
self.record.clear()
_thread.start_new_thread(self.Run, (path,))
def Run(self, filepath):
# wx.BeginBusyCursor()
files = disk_walk(filepath)
count = len(files)
self.gauge.SetRange(count)
for idx, f in enumerate(files):
hash_value = make_hash(f)
if hash_value is None:
continue
if hash_value in self.record:
df = self.record[hash_value]
df.append(f)
else:
df = [f]
self.record[hash_value] = df
wx.PostEvent(self.list, UpdateListEvent(file=f, total=count, index=idx 1))
# wx.EndBusyCursor()
打开文件
# 打开文件
def OnOpenFile(self, event):
index = self.list.GetFirstSelected()
filepath = self.getColumnText(index, 3)
os.startfile(filepath)
打开文件位置
# 打开文件所在位置
def OnOpenFileLocation(self, event):
index = self.list.GetFirstSelected()
filepath = self.getColumnText(index, 3)
os.system(f'explorer /select, {filepath}')
删除勾选的文件
# 删除勾选的文件
def OnDeleteFile(self, event):
itemcount = self.list.GetItemCount()
itemschecked = [i for i in range(itemcount) if self.list.IsItemChecked(item=i)]
if len(itemschecked) == 0:
wx.MessageBox('请勾选需要删除的文件', '消息', wx.OK | wx.ICON_INFORMATION)
else:
rs = wx.MessageBox('确定要删除选中的文件吗?', '确认', wx.YES_NO | wx.ICON_WARNING)
if rs == wx.YES:
itemschecked.reverse() # 列表反转，从后往前删，避免因ListCtrl的Item索引变化而删除失败
for index in itemschecked:
try:
file_path = self.getColumnText(index, 3)
os.remove(file_path)
self.list.DeleteItem(index)
except OSError:
print('Permission denied: %s' % file_path)
wxPython有个自定义事件处理机制
先定义事件
# This creates a new Event class and a EVT binder function
(UpdateListEvent, EVT_UPDATE_BARGRAPH) = wx.lib.newevent.NewEvent()
绑定事件到UI控件上
self.list.Bind(EVT_UPDATE_BARGRAPH, self.OnUpdate)
事件处理方法
def OnUpdate(self, event):
self.info.SetLabel(event.file)
self.gauge.SetValue(event.index)
if event.index == event.total:
self.info.SetLabel('已完成扫描')
......
在独立线程中每处理完一个文件就触发事件，通知UI控件更新
wx.PostEvent(self.list, UpdateListEvent(file=f, total=count, index=idx 1))
