龙空技术网

#002 合并多个样式相同的EXCEL

和光前行 63

前言:

此时你们对“python将相同数据的行合并”大致比较关心,我们都想要剖析一些“python将相同数据的行合并”的相关资讯。那么小编在网络上网罗了一些对于“python将相同数据的行合并””的相关文章,希望各位老铁们能喜欢,兄弟们快快来学习一下吧!

一、业务背景

公司个别系统会每天导出一份当天的业务数据,业务上做数据核对的时候,最好是先把过去一周的合并到一个表格上。

二、我们用Python来实现多个EXCEL表格合并到一个EXCEL表上2.1、具体的思路和步骤

1.把要合并的EXCEL放到一个文件夹下

2.代码搜索这个文件夹所有的EXCEL

3.遍历把每个EXCEL的数据存到一个df上

4.把每个df放到一个数组中

5.把df的数组合并到一个df

6.把合并好的df导出到一个EXCEL文件

2.2 实现代码

# -*- coding: utf-8 -*-"""    @Author  : Nick    @Time    : 2023/8/31    @Comment : #002 合并多个样式相同的EXCEL"""import pandas as pdimport globfolder_path = 'D:\#002' #替换为你的文件夹路径file_paths = glob.glob(folder_path + '/*.xlsx') #获取文件夹下所有Excel文件的路径merged_data = pd.DataFrame()df_list = []for file_path in file_paths:    print(file_path)    df = pd.read_excel(file_path, engine='openpyxl')    df_list.append(df)result = pd.concat(df_list)result.to_excel('result.xlsx',index=False)
2.3 运行结果

我本机16G内存,验证10个EXCEL,每个EXCEL 5W行数据到一个EXCEL都正常通过,合计50W数据。

三、总结和知识点

1.模糊搜索指定后缀的文件

2.df的合并方法:concat()

标签: #python将相同数据的行合并 #python重复项合并