前言:
今天各位老铁们对“如何用pip安装pandas”大约比较关切,同学们都想要分析一些“如何用pip安装pandas”的相关资讯。那么小编在网摘上汇集了一些关于“如何用pip安装pandas””的相关知识,希望大家能喜欢,朋友们快快来学习一下吧!Pandas是一个强大的Python库,用于数据处理和分析,它提供了灵活的数据结构和数据操作功能,非常适合处理各种数据源,如CSV文件、Excel表格、SQL数据库等。
目录
1. 介绍
2. 安装
3. 基本数据结构
Series
DataFrame
4. 数据读取与写入
读取csv、excel等文件数据
写入csv、excel等文件数据
5. 数据选择与操作
切片和索引
数据过滤
数据排序
6. 数据统计与分析
描述性统计
数据聚合
7. 数据可视化
8. 结论
1. 介绍
Pandas是一个强大的数据处理和分析库,它构建在NumPy之上,提供了更高级的数据结构和数据操作功能,使数据清洗、分析和可视化变得更容易。它的两个主要数据结构是Series和DataFrame,可以用于处理各种类型的数据。
pip install pandas3. 基本数据结构
Series
Series是一维标记数组,可以存储各种数据类型。你可以将Series视为带有标签的数组或字典。
import pandas as pddata = pd.Series([10, 20, 30, 40, 50])print(data)
DataFrame
DataFrame是一个二维数据结构,类似于电子表格或SQL表。它由行和列组成,每列可以包含不同类型的数据。
import pandas as pddata = pd.DataFrame({ 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]})print(data)# Name, Age#0,Alice,25#1,Bob,30#2,Charlie,35
import pandas as pddata = [['Google',10],['Runoob',12],['Wiki',13]]df = pd.DataFrame(data,columns=['Site','Age'],dtype=float)print(df)# Site Age#0 Google 10.0#1 Runoob 12.0#2 Wiki 13.0
遍历
使用for循环遍历行(常用):
这种方法逐行遍历DataFrame,返回每行的索引和数据。iterrows()方法返回一个生成器,逐行返回每一行的数据
import pandas as pddata = pd.DataFrame({ 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]})for index, row in data.iterrows(): print(f'Index: {index}, Name: {row["Name"]}, Age: {row["Age"]}')#Index: 0, Name: Alice, Age: 25#Index: 1, Name: Bob, Age: 30#Index: 2, Name: Charlie, Age: 35
使用itertuples()方法遍历行:
for row in data.itertuples(): print(f'Index: {row.Index}, Name: {row.Name}, Age: {row.Age}')#Index: 0, Name: Alice, Age: 25#Index: 1, Name: Bob, Age: 30#Index: 2, Name: Charlie, Age: 35
使用apply()方法遍历列:
apply()方法可以用于对每一行或每一列的数据应用自定义函数。
def process_data(row): return f'Name: {row["Name"]}, Age: {row["Age"]}'data['Info'] = data.apply(process_data, axis=1)print(data['Info'])#0 Name: Alice, Age: 25#1 Name: Bob, Age: 30#2 Name: Charlie, Age: 35#Name: Info, dtype: object4. 数据读取与写入
读取CSV文件数据
Pandas可以轻松读取各种数据格式,包括CSV文件:
import pandas as pddata = pd.read_csv('data.csv')print(data.head()) # 查看前几行数据
写入CSV文件数据
你也可以将数据保存到CSV文件:
import pandas as pddata = pd.DataFrame({ 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]})data.to_csv('output.csv', index=False) # 将数据保存到output.csv文件
读取json数据
[ { "id": "A001", "name": "baidu", "url": ";, "likes": 61 }, { "id": "A002", "name": "Google", "url": ";, "likes": 124 }, { "id": "A003", "name": "taobao", "url": ";, "likes": 45 }]
to_string() 用于返回 DataFrame 类型的数据,我们也可以直接处理 JSON 字符串。
import pandas as pddf = pd.read_json('sites.json')print(df.to_string())# id name url likes#0 A001 baidu 61#1 A002 Google 124#2 A003 taobao 45df = pd.DataFrame(data)
JSON 对象与 Python 字典具有相同的格式,所以我们可以直接将 Python 字典转化为 DataFrame 数据:
import pandas as pd# 字典格式的 JSONdata_dict = { "col1":{"row1":1,"row2":2,"row3":3}, "col2":{"row1":"x","row2":"y","row3":"z"}}# 读取 JSON 转为 DataFramedf = pd.DataFrame(data_dict)print(df)# col1 col2#row1 1 x#row2 2 y#row3 3 z
内嵌的 JSON 数据
假设有一组内嵌的 JSON 数据文件 nested_list.json :
{ "school_name": "ABC primary school", "class": "Year 1", "students": [ { "id": "A001", "name": "Tom", "math": 60, "physics": 66, "chemistry": 61 }, { "id": "A002", "name": "James", "math": 89, "physics": 76, "chemistry": 51 }, { "id": "A003", "name": "Jenny", "math": 79, "physics": 90, "chemistry": 78 }]}
import pandas as pddf = pd.read_json('nested_list.json')df# school_name class students#0 ABC primary school Year 1 {'id': 'A001', 'name': 'Tom', 'math': 60, 'phy...#1 ABC primary school Year 1 {'id': 'A002', 'name': 'James', 'math': 89, 'p...#2 ABC primary school Year 1 {'id': 'A003', 'name': 'Jenny', 'math': 79, 'p...
这时我们就需要使用到 json_normalize() 方法将内嵌的数据完整的解析出来:
import pandas as pdimport json# 使用 Python JSON 模块载入数据with open('nested_list.json','r') as f: data = json.loads(f.read()) # 展平数据 df_nested_list = pd.json_normalize(data, record_path =['students'])print(df_nested_list)# id name math physics chemistry#0 A001 Tom 60 66 61#1 A002 James 89 76 51#2 A003 Jenny 79 90 78
data = json.loads(f.read()) 使用 Python JSON 模块载入数据。
json_normalize() 使用了参数 record_path 并设置为 ['students'] 用于展开内嵌的 JSON 数据 students。
显示结果还没有包含 school_name 和 class 元素,如果需要展示出来可以使用 meta 参数来显示这些元数据:
import pandas as pdimport json# 使用 Python JSON 模块载入数据with open('nested_list.json','r') as f: data = json.loads(f.read()) # 展平数据 df_nested_list = pd.json_normalize(data, record_path =['students'], meta=['school_name', 'class'])print(df_nested_list)# id name math physics chemistry school_name class#0 A001 Tom 60 66 61 ABC primary school Year 1#1 A002 James 89 76 51 ABC primary school Year 1#2 A003 Jenny 79 90 78 ABC primary school Year 1
接下来,让我们尝试读取更复杂的 JSON 数据,该数据嵌套了列表和字典,数据文件 nested_mix.json 如下:
{ "school_name": "local primary school", "class": "Year 1", "info": { "president": "John Kasich", "address": "ABC road, London, UK", "contacts": { "email": "admin@e.com", "tel": "123456789" } }, "students": [ { "id": "A001", "name": "Tom", "math": 60, "physics": 66, "chemistry": 61 }, { "id": "A002", "name": "James", "math": 89, "physics": 76, "chemistry": 51 }, { "id": "A003", "name": "Jenny", "math": 79, "physics": 90, "chemistry": 78 }]}
nested_mix.json 文件转换为 DataFrame:
import pandas as pdimport json# 使用 Python JSON 模块载入数据with open('nested_mix.json','r') as f: data = json.loads(f.read())df = pd.json_normalize( data, record_path =['students'], meta=[ 'class', ['info', 'president'], ['info', 'contacts', 'tel'] ])df
读取内嵌数据中的一组数据
以下是实例文件 nested_deep.json,我们只读取内嵌中的 math 字段:
5. 数据选择与操作
切片和索引
你可以使用标签或位置来选择数据:
import pandas as pddata = pd.DataFrame({ 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]})# 使用标签选择数据print(data['Name'])print("+++"*10)# 使用位置选择数据print(data.iloc[0])#0 Alice#1 Bob#2 Charlie#Name: Name, dtype: object#++++++++++++++++++++++++++++++#Name Alice#Age 25#Name: 0, dtype: object
数据过滤
你可以根据条件过滤数据:
import pandas as pddata = pd.DataFrame({ 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]})filtered_data = data[data['Age'] > 30]print(filtered_data)# Name Age#2 Charlie 35
数据排序
对数据进行排序:
import pandas as pddata = pd.DataFrame({ 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]})sorted_data = data.sort_values(by='Age', ascending=False)print(sorted_data)# Name Age#2 Charlie 35#1 Bob 30#0 Alice 256. 数据统计与分析
描述性统计
Pandas提供了各种描述性统计方法,如mean、median、std等:
import pandas as pddata = pd.DataFrame({ 'Age': [25, 30, 35, 40, 45]})print(data.mean()) # 计算平均值print(data.median()) # 计算中位数print(data.std()) # 计算标准差#Age 35.0#dtype: float64#Age 35.0#dtype: float64=#Age 7.905694#dtype: float64
数据聚合
你可以使用groupby方法对数据进行聚合操作:
import pandas as pddata = pd.DataFrame({ 'Category': ['A', 'B', 'A', 'B', 'A'], 'Value': [10, 20, 15, 25, 30]})grouped_data = data.groupby('Category').sum()print(grouped_data)# Value#Category#A 55#B 457. 数据可视化
Pandas结合其他库如Matplotlib和Seaborn可以用于数据可视化。这里只提供一个简单示例:
import pandas as pdimport matplotlib.pyplot as pltdata = pd.DataFrame({ 'Year': [2010, 2011, 2012, 2013, 2014], 'Sales': [100, 150, 200, 250, 300]})data.plot(x='Year', y='Sales', kind='line')plt.show()最后
Pandas是一个强大的Python库,用于数据处理和分析。本教程涵盖了Pandas的基本数据结构、数据读写、数据操作、统计分析和简单可视化。希望这个教程能帮助你入门Pandas,并在数据处理工作中发挥作用。如果你想深入学习Pandas,可以查看Pandas官方文档和更高级的教程。
参考文献:
1.
标签: #如何用pip安装pandas