ITPub博客

首页 > 数据库 > 数据库开发技术 > Python处理表格数据常用的35个操作

Python处理表格数据常用的35个操作

原创 数据库开发技术 作者:derekwh 时间:2024-06-18 00:47:22 0 删除 编辑

我们经常要处理excel的数据,本公众号在前文多次介绍使用pandas处理excel的数据基本方法,本文继续汇总Python处理表格数据常用的一些操作,供读者参阅。

  1. 使用pandas库读取Excel文件
import pandas as pd

# 读取Excel文件
data = pd.read_excel('example.xlsx')
  1. 指定工作表-sheet名
# 读取指定的工作表
data = pd.read_excel('example.xlsx', sheet_name='Sheet1')
  1. 读取日期格式
# 读取日期格式
data = pd.read_excel('example.xlsx', parse_dates=['Date'])
  1. 添加列名
# 添加列名
data = pd.read_excel('example.xlsx', names=['A', 'B', 'C'])
  1. 保存为Excel文件
# 保存为Excel文件
data.to_excel('output.xlsx', index=False)
  1. 筛选数据
# 筛选数据
filtered_data = data[data['A'] > 10]
  1. 排序数据
# 按A列排序
sorted_data = data.sort_values(by='A')
  1. 分组数据
# 按A列分组
grouped_data = data.groupby('A')
  1. 计算分组统计信息
# 计算分组平均值
grouped_mean = grouped_data.mean()
  1. 查找替换数据
# 查找替换数据
data.replace({'old_value': 'new_value'}, inplace=True)
  1. 插入列
# 在第一列插入新列
data.insert(0, 'NewColumn', 'default_value')
  1. 删除列
# 删除第一列
data.drop(data.columns[0], axis=1, inplace=True)
  1. 重命名列
# 重命名列
data.rename(columns={'A': 'NewColumnName'}, inplace=True)
  1. 合并两个表格数据
# 合并两个Excel文件
merged_data = pd.concat([data1, data2], ignore_index=True)
  1. 数据透视表
# 创建数据透视表
pivot_table = data.pivot_table(index='A', columns='B', values='C')
  1. 数据透视图
import matplotlib.pyplot as plt

# 创建数据透视图
pivot_table = data.pivot_table(index='A', columns='B', values='C')
pivot_table.plot(kind='bar')
plt.show()
  1. 数据清洗 - 去除空格和特殊字符
# 去除空格
data['ColumnName'].str.strip()

# 去除特殊字符
data['ColumnName'] = data['ColumnName'].str.replace(r'[^a-zA-Z0-9]', '')
  1. 使用Excel公式
# 使用Excel公式
data=pd.read_excel('example.xlsx')
data['NewColumn'] = '=SUM(A2:B2)'
  1. 获取某列数据的唯一值
# 获取A列唯一值
data["A"].unique()
  1. 删除重复行
# 删除重复行
df = df.drop_duplicates()
  1. 修改列名大小写
# 修改列名大小写
df.columns = [col.lower() for col in df.columns]
  1. 修改列顺序
# 修改列顺序
df = df[['B', 'A', 'C']]
  1. 添加新列
# 添加新列
df['D'] = df['A'] + df['B']
  1. 删除指定列
# 删除指定列
df = df.drop('A', axis=1)
  1. 使用条件表达式筛选数据
# 使用条件表达式筛选数据
filtered_data = df[(df['A'] > 10) & (df['B'] < 5)]
  1. 使用apply函数应用自定义函数
# 使用apply函数应用自定义函数
def custom_function(x):
    return x * 2

df['A'] = df['A'].apply(custom_function)
  1. 使用map函数映射值
# 使用map函数映射值
df['A'] = df['A'].map({'old_value': 'new_value'})
  1. 使用fillna函数填充缺失值
# 使用fillna函数填充缺失值
df['A'].fillna(value=0, inplace=True)
  1. 使用interpolate函数插值填充缺失值
# 使用interpolate函数插值填充缺失值
df['A'].interpolate(inplace=True)
  1. 使用merge函数合并两个DataFrame
# 使用merge函数合并两个DataFrame
merged_data = pd.merge(df1, df2, on='key')
  1. 使用concat函数合并两个DataFrame
# 使用concat函数合并两个DataFrame
concatenated_data = pd.concat([df1, df2], ignore_index=True)
  1. 使用melt函数将宽格式数据转换为长格式数据
# 使用melt函数将宽格式数据转换为长格式数据
melted_data = pd.melt(df, id_vars=['A'], value_vars=['B', 'C'])
  1. 使用groupby函数分组数据并计算统计信息
# 使用groupby函数分组数据并计算统计信息
grouped_data = df.groupby('A').agg({'B': ['mean', 'sum']})
  1. 使用crosstab函数创建交叉表
# 使用crosstab函数创建交叉表
crosstab_data = pd.crosstab(df['A'], df['B'])
  1. 使用cut函数将连续变量划分为离散区间
# 使用cut函数将连续变量划分为离散区间
df['A'] = pd.cut(df['A'], bins=[0, 10, 20, 30])

以上都是Python处理表格数据常用的一些操作,感兴趣的读者建议收藏,方便在工作中处理表格数据的时候查阅。



原文作者:Python学习杂记;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论
央企算法工程师,微信公众号: python数智工坊

注册时间:2021-03-14

  • 博文量
    305
  • 访问量
    162396