前言:
今天同学们对“python指定路径”可能比较关注,姐妹们都想要分析一些“python指定路径”的相关内容。那么小编在网摘上搜集了一些关于“python指定路径””的相关内容,希望咱们能喜欢,你们一起来学习一下吧!目录
技术背景行遍历实现linecache实现命令行sed获取总结概要版权声明技术背景
考虑到深度学习领域中的数据规模一般都比较大,尤其是训练集,这个限制条件对应到实际编程中就意味着,我们很有可能无法将整个数据文件的内容全部都加载到内存中。那么就需要一些特殊的处理方式,比如:创建内存映射文件来替代原始文件被加载到内存中、预处理数据后再加载内存中以及单次只加载文件的片段。其中关于内存映射技术的一些应用,在前面的这2篇博客1和博客2中有所介绍,而本文将要介绍的是从文件中只读取特定行的内容的3种解决方案。
行遍历实现
在python中如果要将一个文件完全加载到内存中,通过file.readlines()即可,但是在文件占用较高时,我们是无法完整的将文件加载到内存中的,这时候就需要用到python的file.readline()进行迭代式的逐行读取:
filename = 'hello.txt'with open(filename, 'r') as file: line = file.readline() counts = 1 while line: if counts >= 50000000: break line = file.readline() counts += 1
这里我们的实现方式是先用一个with语句打开一个文件,然后用readline()函数配合while循环逐行加载,最终通过一个序号标记来结束循环遍历,输出文件第50000000行的内容。该代码的执行效果如下:
dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py real 0m10.359suser 0m10.062ssys 0m0.296slinecache实现
虽然在python的readline函数中并没有实现读取指定行内容的方案,但是在另一个库linecache中是实现了的,由于使用的方式较为简单,这里直接放上代码示例供参考:
filename = 'hello.txt'import linecachetext = linecache.getline(filename, 50000000)
该代码的执行结果如下:
dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py real 0m11.904suser 0m5.672ssys 0m6.231s
虽然在实现方式上简化了许多,但是我们发现这个实现的用时超过了11s,还不如我们自己手动实现的循环遍历方案。因此如果是对于性能有一定要求的场景,是不建议采用这个方案的。
命令行sed获取
我们知道用Linux系统本身自带的sed指令也是可以获取到文件指定行或者是指定行范围的数据的,其执行指令为:sed -n 50000000p filename即表示读取文件的第50000000行的内容。同时结合python的话,我们可以在python代码中执行系统指令并获取输出结果:
filename = 'hello.txt'import osresult = os.popen('sed -n {}p {}'.format(50000000, filename)).read()
需要注意的是,如果直接运行os.system()是没有返回值的,只有os.popen()是有返回值的,并且需要在尾巴加上一个read()的选项。该代码的执行结果如下:
dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py real 0m2.532suser 0m0.032ssys 0m0.020s
可以看到直接使用sed指令的执行速度很快,但是用这种方法并不是一本万利的,比如以下这个例子:
filename = 'hello.txt'import osresult = os.popen('sed -n {}p {}'.format(500, filename)).read()
我们把读取第50000000行内容改为读取第500行的内容,再运行一次程序:
dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py real 0m2.540suser 0m0.037ssys 0m0.013s
然而我们发现这个速度并没有因为要读取的行数减少了而变少,而是几乎保持不变的。
总结概要
本文通过4个测试案例分析了在python中读取文件指定行内容的方案,并得到了一些运行耗时的数据。从需求上来说,如果是对于小规模的数据,比如几百行规模的数据,建议使用readline循环遍历来操作,速度也相当不错,或者是linecache中的函数实现也是可以的,甚至可以直接用readlines将整个文本内容加载到内存中。但是对于数据规模比较大的场景,比如超过了千万行的级别,那么使用sed指令的方式对指定行内容进行读取的方式,应该是所有方式中最快速的。
版权声明
本文首发链接为:
作者ID:DechinPhy
更多原著文章请参考:
打赏专用链接:
腾讯云专栏同步:
头条号同步:
标签: #python指定路径