前言:
如今各位老铁们对“python合并数据集去重”可能比较关心,你们都想要了解一些“python合并数据集去重”的相关内容。那么小编同时在网络上搜集了一些关于“python合并数据集去重””的相关文章,希望大家能喜欢,各位老铁们一起来了解一下吧!一、python实例合并文件并去重
运行结果:
二、python介绍 对文件的操作
我们已知程序是无法直接读写磁盘中的文件,而是请求操作系统提供数据操作接口,为我们生成一个文件对象,从而获取或写入需要的数据。因此在python中操作文件也不例外,首先使用Open打开文件的常规的语法为:
open(' D:/try/merge_result.csv', 'r', encoding='gbk', errors='ignore')
1、文件读取第一个参数:读取位置的设置(位置参数,必须指定):
使用相对位置:open('../data/merge_result.csv'),最终执行完成将会在data文件下保存合并数据的结果。从序号可以看出合并数据的结果确实是来自不同的文件。
同理也可以使用绝对位置:'D:/try/merge_result.csv',按照所需进行文件的位置的设置,这其中特别需要注意的是:python中对文件位置分隔符正斜杠’/和反斜杠’\’的使用。因为python中反斜杠‘\’有转义关键字符的功能。
2、文件读取第二个参数:读取方式的设置(位置参数,必须指定):
3、文件读取第三个参数和第四个参数:对文件编码方式的调整(命名参数,有默认值):
encoding指定读取文件的编码方式
errors='ignore'则是忽略文件中出现的编码不一致问题。
对文件的常用操作:
简化操作文件方式:
(可以同时实现文件的打开,读写,关闭操作)
with open('/Users/michael/test.txt', 'w') as f:f.write('Hello, world!')
这样操作也可以防止在实际使用中忘记使用调用close()方法
总结:
本次主要介绍了python对文件的常规读写操作方式,是最常用的os模块操作之一。下期会接着介绍os模块对系统目录,文件,子模块,系统命令等其他相关操作方式。
标签: #python合并数据集去重