前言:
此时你们对“python将相同数据的行合并”大致比较关心,我们都想要剖析一些“python将相同数据的行合并”的相关资讯。那么小编在网络上网罗了一些对于“python将相同数据的行合并””的相关文章,希望各位老铁们能喜欢,兄弟们快快来学习一下吧!一、业务背景
公司个别系统会每天导出一份当天的业务数据,业务上做数据核对的时候,最好是先把过去一周的合并到一个表格上。
二、我们用Python来实现多个EXCEL表格合并到一个EXCEL表上2.1、具体的思路和步骤
1.把要合并的EXCEL放到一个文件夹下
2.代码搜索这个文件夹所有的EXCEL
3.遍历把每个EXCEL的数据存到一个df上
4.把每个df放到一个数组中
5.把df的数组合并到一个df
6.把合并好的df导出到一个EXCEL文件
2.2 实现代码
# -*- coding: utf-8 -*-""" @Author : Nick @Time : 2023/8/31 @Comment : #002 合并多个样式相同的EXCEL"""import pandas as pdimport globfolder_path = 'D:\#002' #替换为你的文件夹路径file_paths = glob.glob(folder_path + '/*.xlsx') #获取文件夹下所有Excel文件的路径merged_data = pd.DataFrame()df_list = []for file_path in file_paths: print(file_path) df = pd.read_excel(file_path, engine='openpyxl') df_list.append(df)result = pd.concat(df_list)result.to_excel('result.xlsx',index=False)2.3 运行结果
我本机16G内存,验证10个EXCEL,每个EXCEL 5W行数据到一个EXCEL都正常通过,合计50W数据。
三、总结和知识点
1.模糊搜索指定后缀的文件
2.df的合并方法:concat()
版权声明:
本站文章均来自互联网搜集,如有侵犯您的权益,请联系我们删除,谢谢。
标签: #python将相同数据的行合并 #python重复项合并