龙空技术网

读写 CSV 数据

申浩黄粱 271

前言:

眼前我们对“分割csv文件”大致比较关心,我们都需要学习一些“分割csv文件”的相关文章。那么小编在网络上收集了一些有关“分割csv文件””的相关内容,希望看官们能喜欢,朋友们一起来了解一下吧!

1. 现象

读写一个 CSV 格式的文件

2. 原因分析无3. 问题解决

对于大多数的 CSV 格式的数据读写问题,都可以使用 csv 库,常见的例子:

Output.csv内容

import csvwith open('Output.csv', newline='') as f_obj:    c_reader = csv.reader(f_obj)    headers = next(c_reader)    for line in c_reader:        print(line)"""['A', 'B', 'C']['1', '2', '3']['第', '一', '个']"""

在上边的代码中,line 是一个序列 list,如果需要访问某个字段,可以使用下标的方式访问 line[0]

由于下标访问通常会引起混淆,可以考虑使用命名元组

import csvfrom collections import namedtuplewith open('Output.csv', newline='') as f_obj:    c_reader = csv.reader(f_obj)    headers = next(c_reader)    Line = namedtuple('Line', headers)    for i_line in c_reader:        line = Line(*i_line)        print(line)        print(line.行中)"""Line(行首='A', 行中='B', 行尾='C')BLine(行首='1', 行中='2', 行尾='3')2Line(行首='第', 行中='一', 行尾='个')一"""

namedtuple 允许使用列名如 row.行首 和 row.行中 代替下标访问。需要注意的是这个只有在列名是合法的 Python 标识符的时候才生效。如果不是的话,可能需要修改原始的列名 (如将非标识符字符替换成下划线之类的)

另外一个选择就是将数据读取到一个字典序列中去。可以这样做:

with open('Output.csv', newline='') as f_obj:    c_reader = csv.DictReader(f_obj)    for line in c_reader:        print(line['行中'])"""B2一"""

在这个版本中,可以使用列名去访问每一行的数据了。比如, row['行中'] 或者 row['行首']

为了写入 CSV 数据,也可以使用 csv 模块,不过这时候先创建一个 writer 对象

headers = ['行首', '行中', '行尾']data = [    ('A', 'B', 'C'),    [1, 2, 3],    ('第', '一', '个'),]# newline = '' 保证Windows下不会换行with open('Input.csv', 'w', newline='') as f_obj:    w_csv = csv.writer(f_obj)    w_csv.writerow(headers)    w_csv.writerows(data)

如果不添加 newline = '' ,则Windows下会换行

headers = ['行首', '行中', '行尾']data = [    ('A', 'B', 'C'),    [1, 2, 3],    ('第', '一', '个'),]with open('Input.csv', 'w') as f_obj:    w_csv = csv.writer(f_obj)    w_csv.writerow(headers)    w_csv.writerows(data)

如果有一个字典序列的数据,可以像这样做

headers = ['行首', '行中', '行尾']data = [    {'行首': 'A', '行中': 'B', '行尾': 'C'},    {'行首': 1, '行中': 2, '行尾': 3},    {'行首': '第', '行中': '一', '行尾': '个'},]with open('Input.csv', 'w', newline='') as f_obj:    w_csv = csv.DictWriter(f_obj, fieldnames=headers)    w_csv.writeheader()    w_csv.writerows(data)

应该总是优先选择 csv 模块分割或解析 CSV 数据,例如,你可能会像编写类似下面这样的代码

with open('Output.csv', newline='') as f_obj:    for line in f_obj:        row = line.split(',')        print(row)

使用这种方式的一个缺点就是仍然需要去处理一些棘手的细节问题。比如

如果某些字段值被引号包围,你不得不去除这些引号如果一个被引号包围的字段碰巧含有一个逗号,那么程序就会因为产生一个错误大小的行而出错

默认情况下, csv 库可识别 Microsoft Excel 所使用的 CSV 编码规则。这或许也是最常见的形式,并且也会给你带来最好的兼容性。然而,如果你查看 csv 的文档,就会发现有很多种方法将它应用到其他编码格式上 (如修改分割字符等)。例如,如果你想读取以 tab 分割的数据,可以这样做

with open('Output.csv', newline='') as f_obj:    c_reader = csv.reader(f_obj, delimiter='\t')    headers = next(c_reader)    for line in c_reader:        print(line)

如果正在读取 CSV 数据并将它们转换为命名元组,需要注意对列名进行合法性认证。例如,一个 CSV 格式文件有一个包含非法标识符的列头行,类似下面这样:

import rewith open('Output.csv') as f_obj:    c_csv = csv.reader(f_obj)    headers = [re.sub('[^a-zA-Z_]', '_', header) for header in next(c_csv) ]    Line = namedtuple('Line', headers)    for i_line in c_csv:        row = Line(*i_line)

如果含有非法标识符,会导致在创建一个命名元组时产生一个 ValueError 异常而失败。为了解决这问题,你可能不得不先去修正列标题。例如,可以像上面这样在非法标识符上使用一个正则表达式替换,当然这里是很简单的替换,更加有效的判断需要单独写函数

还有重要的一点需要强调的是, csv 产生的数据都是字符串类型的,它不会做任何其他类型的转换。如果需要做这样的类型转换,必须自己手动去实现

先更改Input.csv数据内容为:

col_types = [str, int, str]with open('Input.csv', newline='') as f_obj:    c_csv = csv.reader(f_obj)    headers = next(c_csv)    for line in c_csv:        row = tuple(convert(value) for convert, value in zip(col_types, line))        print(row)"""('A', 1, 'C')('1', 2, '3')('第', 3, '个')"""col_types = [    ('行首', str),    ('行中', int),    ('行尾', str),]with open('Input.csv', newline='') as f_obj:    c_csv = csv.DictReader(f_obj)    for line in c_csv:        line.update((key, convert(line[key])) for key, convert in col_types)        print(line)"""OrderedDict([('行首', 'A'), ('行中', 1), ('行尾', 'C')])OrderedDict([('行首', '1'), ('行中', 2), ('行尾', '3')])OrderedDict([('行首', '第'), ('行中', 3), ('行尾', '个')])"""

通常来讲,我们可能并不想过多去考虑这些转换问题。

但在实际情况中, CSV 文件都或多或少有些缺失的数据,被破坏的数据以及其它一些转换失败的问题。因此,除非你的数据确实有保障是准确无误的,否则你必须考虑这些问题 (你可能需要增加合适的错误处理机制)

最后,如果读取 CSV 数据的目的是做数据分析和统计的话,我们可以看一看 Pandas 包。 Pandas 包含了一个非常方便的函数叫 pandas.read_csv() ,它可以加载 CSV 数据到一个 DataFrame 对象中去。然后利用这个对象我们就可以生成各种形式的统计、过滤数据以及执行其他高级操作。

4. 错误经历无

标签: #分割csv文件 #oracle生成csv换行 #c语言csv格式数据文件的读写 #c语言读csv