Pandas 操作指南（五）：表格重塑与数据整合

在数据分析中，并不是所有表格一开始都具有合适的结构。

有时，一张表虽然保存了所需数据，但其组织方式并不利于统计与比较；有时，信息分散在多张表中，需要先整合后分析。由此可见，分析不仅依赖于数据内容，还依赖于数据结构。

Pandas 提供了两类非常重要的能力：

• 重塑表格结构（Reshaping）

• 整合多张数据表（Combining Tables）

本文将围绕学生成绩、班级信息和社团信息等示例，说明如何认识长表与宽表，如何重塑单张表，以及如何按关键字段合并或连接多张相关数据表。

下面先构造本篇所需的几张表：

import pandas as pd # 学生成绩表scores = pd.DataFrame([ {"学号": "S001", "姓名": "张三", "班级": "C01", "语文": 88, "数学": 92, "英语": 85}, {"学号": "S002", "姓名": "李四", "班级": "C01", "语文": 76, "数学": 81, "英语": 79}, {"学号": "S003", "姓名": "王五", "班级": "C02", "语文": 90, "数学": 87, "英语": 93}, {"学号": "S004", "姓名": "赵六", "班级": "C02", "语文": 85, "数学": 89, "英语": 88}, {"学号": "S005", "姓名": "孙七", "班级": "C03", "语文": 91, "数学": 95, "英语": 90}, {"学号": "S006", "姓名": "周八", "班级": "C03", "语文": 78, "数学": 84, "英语": 80}]) # 班级信息表classes = pd.DataFrame([ {"班级": "C01", "班主任": "刘老师"}, {"班级": "C02", "班主任": "陈老师"}, {"班级": "C03", "班主任": "王老师"}]) # 社团信息表clubs = pd.DataFrame([ {"学号": "S001", "社团": "篮球社"}, {"学号": "S003", "社团": "文学社"}, {"学号": "S005", "社团": "科技社"}])

一、为什么有时需要重塑表格与整合数据

一张表“能存数据”，并不等于它“适合分析”。

例如，有些表把不同指标横向排开，适合阅读，却不利于分组统计；有些表则按一条记录一行组织，适合筛选，却不利于汇总展示。

此外，在很多实际场景中，数据分散在多张表中：

• 成绩在一张表

• 班主任信息在另一张表

• 社团信息在第三张表

若不先重塑表格或整合数据，分析就会受到限制。

因此，表格重塑与数据整合的目标大致有两类：

第一，调整单张表的内部结构，使其更适合某种分析任务。

第二，按照关键字段整合多张相关表，形成更完整的数据视图。

二、认识长表与宽表

长表（Long Format）与宽表（Wide Format）是数据组织方式中的两个基本概念。

1、宽表

当前的 scores 如下，它是一张典型宽表：

学号 姓名 班级 语文 数学 英语0 S001 张三 C01 88 92 851 S002 李四 C01 76 81 792 S003 王五 C02 90 87 933 S004 赵六 C02 85 89 884 S005 孙七 C03 91 95 905 S006 周八 C03 78 84 80

• 一行对应一个学生

• 不同科目分别占据不同列

这种形式适合直观查看单个学生的多项成绩。

2、长表

若把“语文、数学、英语”三列改成“科目”和“成绩”两列，则会得到长表。

在长表中，一个学生会出现多行，每行对应一门科目。

长表更适合：

• 分类统计

• 分组分析

• 可视化

• 作为透视汇总的原始输入

从变量组织方式看，宽表往往把同一类指标分散在多个列中，而长表则把这些列收拢为“变量列 + 数值列”的形式。

宽表适合展示“一个对象的多项属性”；长表适合表示“同一指标在不同类别下的重复观测”。

理解这一点，是后续重塑表格的基础。

三、重塑单张表的结构

Pandas 中常见的重塑方法之一是 melt()。它可以把宽表转换为长表。

使用 melt()：

long_scores = scores.melt( id_vars=["学号", "姓名", "班级"], value_vars=["语文", "数学", "英语"], var_name="科目", value_name="成绩") print(long_scores)

说明：

• id_vars 表示保留不变的标识列

• value_vars 表示需要展开的列

• var_name 表示新产生的“变量列”名称

• value_name 表示新产生的“值列”名称

输出：

学号 姓名 班级 科目 成绩0 S001 张三 C01 语文 881 S002 李四 C01 语文 762 S003 王五 C02 语文 903 S004 赵六 C02 语文 854 S005 孙七 C03 语文 915 S006 周八 C03 语文 786 S001 张三 C01 数学 927 S002 李四 C01 数学 818 S003 王五 C02 数学 879 S004 赵六 C02 数学 8910 S005 孙七 C03 数学 9511 S006 周八 C03 数学 8412 S001 张三 C01 英语 8513 S002 李四 C01 英语 7914 S003 王五 C02 英语 9315 S004 赵六 C02 英语 8816 S005 孙七 C03 英语 9017 S006 周八 C03 英语 80

可以看出，宽表转换成长表之后，通常行数会增加、列数会减少。

若使用长表结构，后续便可以更自然地：

• 按科目分组

• 比较不同班级在不同科目上的表现

• 绘制科目分布图

因此，重塑不是形式变化，而是为了适应分析任务。

需要注意，长表并不一定优于宽表，而是更适合某些分组、统计以及可视化任务。

四、将长表转换为宽表或透视表

除了把宽表转成长表，也常常需要把长表转换成宽表。

Pandas 中常见方法包括 pivot() 与 pivot_table()。

使用 pivot_table()：

# 使用上一步得到的长表summary = long_scores.pivot_table( index="班级", columns="科目", values="成绩", aggfunc="mean") print(summary)

这会生成一个“按班级汇总、按科目展开”的统计表：

科目 数学 英语 语文班级 C01 86.5 82.0 82.0C02 88.0 90.5 87.5C03 89.5 85.0 84.5

pivot() 适合索引与列组合一一对应、不会重复的情况；若同一组合下存在多条记录，则通常应使用 pivot_table()，并通过 aggfunc 指定聚合方式。

可以把 pivot() 理解为“纯重排”，把 pivot_table() 理解为“可聚合的透视汇总”。

从宽表到长表，再从长表到透视表，本质上都是在改变数据的组织视角，使其更适合当前任务。

五、按照关键字段合并数据

当信息分散在多张表中时，最常见的做法是按关键字段进行合并。

Pandas 中对应的方法是 merge()。

1、按班级合并班主任信息

scores_with_class = pd.merge(scores, classes, on="班级")print(scores_with_class)

这里的 on="班级" 表示以“班级”作为匹配键。

merge() 适合按字段匹配。若不显式指定 how，merge() 默认使用 inner 连接。

2、按学号合并社团信息

scores_with_club = pd.merge(scores, clubs, on="学号", how="left")print(scores_with_club)

这里使用了 how="left"，表示以左表 scores 为基准保留所有学生记录。

参数 how 的常见选项有：

• inner：只保留两表都匹配到的记录

• left：保留左表全部记录

• right：保留右表全部记录

• outer：保留两表所有记录

理解这些合并方式，是多表分析的基础。

六、连接多张相关数据表

在 Pandas 中，除 merge() 外，还可以使用 join() 与 concat() 连接表格。

1、按索引连接

join() 适合已经以索引组织好的表：

left = scores.set_index("学号")right = clubs.set_index("学号") print(left.join(right))

2、按行或按列拼接

concat() 适合按行或按列直接拼接。

按行拼接：

part1 = scores.iloc[:3]part2 = scores.iloc[3:] print(pd.concat([part1, part2], axis=0))

按列拼接：

names = scores[["学号", "姓名"]]subjects = scores[["语文", "数学", "英语"]] print(pd.concat([names, subjects], axis=1))

需要注意，axis=1 本质上是按索引对齐后横向拼接；若两张表索引不一致，结果中可能出现缺失值。

与 merge() 不同的是，它不是按“学号”“班级”等字段匹配，而是按索引位置或索引标签对齐。

七、根据任务选择合适的整合方式

在实际工作中，应先判断问题属于“单表结构调整”还是“多表数据整合”，再选择具体方法。

1、需要按键匹配时，用 merge()

若两张表之间存在清晰的业务键，例如“学号”“班级”“订单号”等，优先考虑 merge()。

2、需要按索引对齐时，用 join()

若数据表已经使用索引组织，且希望按索引连接，则 join() 更自然。

3、需要上下或左右拼接时，用 concat()

若只是把若干同结构表上下合并，或把若干列横向拼接，则 concat() 更直接。

4、需要变换单表结构时，用 melt() 与 pivot_table()

若问题不在于“多表”，而在于“单表结构不适合分析”，则应先重塑再分析。

数据整合的关键，不是记住某一个函数，而是先判断：

当前问题属于“单表结构调整”，还是“多表关系连接”。

在选择 merge()、join()、concat() 之前，先判断两张表之间到底是“按键匹配关系”，还是“按索引对齐关系”，或只是“简单上下/左右拼接关系”。

八、综合示例

在实际工作中，数据未必一开始就整齐地保存在一张完整的成绩总表中。

更常见的情况是：不同科目的成绩分别来自不同老师、不同工作表或不同文件。此时，往往需要先把这些分散的表整合为统一的长表，再根据分析需要生成透视汇总表，或进一步整理成便于查看的宽表。

下面通过一个完整示例，演示这一过程。

import pandas as pd # =====================================# 1. 构造三个独立的单科成绩表# 每张表分别来自一个学科，结构基本一致# ===================================== # 语文成绩表chinese = pd.DataFrame([ {"学号": "S001", "姓名": "张三", "班级": "C01", "成绩": 88}, {"学号": "S002", "姓名": "李四", "班级": "C01", "成绩": 76}, {"学号": "S003", "姓名": "王五", "班级": "C02", "成绩": 90}, {"学号": "S004", "姓名": "赵六", "班级": "C02", "成绩": 85}, {"学号": "S005", "姓名": "孙七", "班级": "C03", "成绩": 91}, {"学号": "S006", "姓名": "周八", "班级": "C03", "成绩": 78}]) # 数学成绩表math = pd.DataFrame([ {"学号": "S001", "姓名": "张三", "班级": "C01", "成绩": 92}, {"学号": "S002", "姓名": "李四", "班级": "C01", "成绩": 81}, {"学号": "S003", "姓名": "王五", "班级": "C02", "成绩": 87}, {"学号": "S004", "姓名": "赵六", "班级": "C02", "成绩": 89}, {"学号": "S005", "姓名": "孙七", "班级": "C03", "成绩": 95}, {"学号": "S006", "姓名": "周八", "班级": "C03", "成绩": 84}]) # 英语成绩表english = pd.DataFrame([ {"学号": "S001", "姓名": "张三", "班级": "C01", "成绩": 85}, {"学号": "S002", "姓名": "李四", "班级": "C01", "成绩": 79}, {"学号": "S003", "姓名": "王五", "班级": "C02", "成绩": 93}, {"学号": "S004", "姓名": "赵六", "班级": "C02", "成绩": 88}, {"学号": "S005", "姓名": "孙七", "班级": "C03", "成绩": 90}, {"学号": "S006", "姓名": "周八", "班级": "C03", "成绩": 80}]) # =====================================# 2. 为每张表添加“科目”列# 这样在拼接后，仍能区分每条记录属于哪门课程# =====================================chinese["科目"] = "语文"math["科目"] = "数学"english["科目"] = "英语" # =====================================# 3. 按行拼接三张表，形成统一长表# ignore_index=True 用于重置拼接后的行索引# =====================================long_scores = pd.concat([chinese, math, english], axis=0, ignore_index=True) # 调整列顺序，使结构更清晰long_scores = long_scores[["学号", "姓名", "班级", "科目", "成绩"]] print("===== 长表 =====")print(long_scores) # =====================================# 4. 对长表进行透视汇总# 按班级统计各科平均分# index="班级" -> 行按班级组织# columns="科目" -> 列按科目展开# values="成绩" -> 汇总的数值列# aggfunc="mean" -> 对每组计算平均值# =====================================class_summary = long_scores.pivot_table( index="班级", columns="科目", values="成绩", aggfunc="mean") print("\n===== 各班各科平均分透视表 =====")print(class_summary) # =====================================# 5. 将长表转换为宽表# 目标：一行对应一个学生，每门课程各占一列# pivot() 适用于每个“学号-科目”组合唯一的情况# =====================================wide_scores = long_scores.pivot( index=["学号", "姓名", "班级"], columns="科目", values="成绩").reset_index() print("\n===== 宽表 =====")print(wide_scores)

这个示例展示了一个较为真实的数据处理流程：先将分散的单科成绩表拼接为统一长表，再利用透视汇总生成班级统计结果，最后按需要转为宽表。由此可见，表格重塑与数据整合往往不是孤立操作，而是需要围绕具体任务连续配合使用。

📘 小结

数据分析不仅依赖于数据内容，也依赖于数据结构。只有根据任务需要调整单表结构、整合多表信息，才能把分散或不便分析的数据重新组织为清晰、完整且适合后续统计与比较的统一视图。

“点赞有美意，赞赏是鼓励”