当前位置：首页 > news >正文

电商交易数据实战：从清洗到洞察的完整分析流程

news 2026/8/28 10:15:18

1. 电商交易数据分析入门：为什么需要清洗数据？

刚接触电商数据分析时，很多人会直接跳过数据清洗环节，迫不及待地开始跑模型、画图表。我刚开始也是这样，直到有一次分析结果完全偏离业务实际，才发现原始数据中存在大量"脏数据"。比如支付金额为负数的订单、商品ID为0的异常记录、重复下单的订单号等等。

电商数据清洗就像做饭前的食材处理，看似繁琐却至关重要。以我们常见的订单数据为例，原始数据往往存在这些问题：

格式问题：时间字段可能是字符串格式，价格可能是以分为单位存储
异常值：支付金额为负数、商品价格为零、订单时间超出合理范围
缺失值：渠道信息为空、设备类型未记录
逻辑错误：支付时间早于下单时间、同一订单号对应多条记录

我曾经处理过一个真实案例：某次大促活动后分析转化率异常低，后来发现是数据中存在大量未支付的测试订单（支付金额为0）。如果不先清洗这些数据，就会导致"垃圾进，垃圾出"的分析结果。

2. 数据清洗实战：手把手教你处理电商数据

2.1 环境准备与数据概览

我习惯使用Python的Pandas库进行数据清洗，配合Jupyter Notebook可以实时查看每一步的处理效果。首先导入必要的库：

import numpy as np import pandas as pd import matplotlib.pyplot as plt from datetime import datetime

加载数据后，先用两个方法快速了解数据全貌：

df = pd.read_csv('order_data.csv') print(df.describe()) # 查看数值型字段的统计分布 print(df.info()) # 查看字段类型和缺失值情况

这两个方法能帮你快速发现异常值。比如describe()结果中price字段的最小值为0，就可能存在问题；info()显示channelId有缺失值，就需要决定是填充还是删除。

2.2 字段级清洗：从简单到复杂

订单ID处理：订单ID本应是唯一值，但实际数据中经常存在重复。我建议先处理其他字段再解决重复问题，因为其他字段的异常可能影响删除哪条记录：

# 先检查重复情况 print(f"唯一订单数:{df.orderId.nunique()}, 总记录数:{len(df)}") # 暂不处理，等其他字段清洗完毕后再处理

价格字段处理：电商数据中价格经常以分为单位存储，需要转换为元。同时要处理异常值：

df['price'] = df['price']/100 # 分转元 df = df[df['price']>0] # 删除价格为0或负数的记录

支付时间校验：这是最容易出现逻辑错误的地方。我遇到过支付时间比下单时间早一天的记录，明显是系统时间同步问题：

df['createTime'] = pd.to_datetime(df['createTime']) df['payTime'] = pd.to_datetime(df['payTime']) df = df[df['payTime'] >= df['createTime']] # 支付时间不能早于下单时间

2.3 高级清洗技巧

时间范围过滤：如果只分析某年数据，需要过滤掉其他时间段的记录：

start_date = datetime(2023,1,1) end_date = datetime(2023,12,31,23,59,59) df = df[(df['createTime'] >= start_date) & (df['createTime'] <= end_date)]

多条件联合清洗：有时需要结合多个字段判断异常。比如同时满足：价格低于10元、支付金额为0、设备类型为测试设备的记录：

test_orders = df[(df['price']<10) & (df['payMoney']==0) & (df['deviceType']=='test')] df = df.drop(test_orders.index)

3. 多维分析：从不同角度看电商数据

清洗后的数据就像一块璞玉，需要从不同角度雕琢才能发现价值。电商数据分析通常从这几个维度展开：

3.1 商品维度：找出明星产品和滞销品

销量分析：

top10_products = df.groupby('productId')['orderId'].count().sort_values(ascending=False).head(10)

销售额分析：

top10_turnover = df.groupby('productId')['payMoney'].sum().sort_values(ascending=False).head(10)

我曾经通过这种分析发现，销量前十的商品中，有3款是低价引流产品，实际利润贡献很低。后来调整了商品策略，虽然总销量略有下降，但整体利润提升了15%。

3.2 用户维度：识别高价值客户

RFM模型应用：

# 计算每个用户的R(最近购买时间)、F(购买频次)、M(消费金额) now = datetime.now() rfm = df.groupby('userId').agg({ 'payTime': lambda x: (now - x.max()).days, # Recency 'orderId': 'count', # Frequency 'payMoney': 'sum' # Monetary })

通过RFM分析，我们把用户分为8个等级，针对不同等级制定差异化营销策略。比如对高价值但近期未购买的用户，发送专属优惠券召回。

3.3 时间维度：把握销售节奏

小时级分析：

df['orderHour'] = df['createTime'].dt.hour hourly_orders = df.groupby('orderHour')['orderId'].count() hourly_orders.plot(figsize=(12,6))

通过这个分析，我们发现晚上8-10点是订单高峰，于是调整了客服排班和服务器资源。同时把促销活动开始时间从上午10点调整到晚上8点，活动参与率提升了30%。

4. 深度洞察：从数据到决策

4.1 商品关联分析

使用Apriori算法分析商品搭配购买情况：

from mlxtend.frequent_patterns import apriori # 先将订单-商品数据转换为矩阵格式 order_product_matrix = df.pivot_table(index='orderId', columns='productId', values='price', aggfunc='count', fill_value=0) # 找出频繁项集 frequent_itemsets = apriori(order_product_matrix, min_support=0.01, use_colnames=True)

通过这种分析，我们发现手机壳和钢化膜经常被一起购买。于是调整了商品详情页，在手机壳页面增加钢化膜的推荐，连带购买率提升了25%。

4.2 渠道效果评估

不同渠道的获客成本差异很大，需要综合评估：

channel_performance = df.groupby('channelId').agg({ 'orderId': 'count', 'userId': pd.Series.nunique, 'payMoney': 'sum' }).sort_values('payMoney', ascending=False)

分析后发现，某个社交渠道虽然带来的订单量不多，但用户平均消费金额是其他渠道的2倍。于是调整了投放策略，减少低效渠道的预算，整体ROI提升了40%。

4.3 价格带分析

通过价格区间分析优化商品结构：

price_bins = [0, 50, 100, 200, 500, 1000, float('inf')] df['price_range'] = pd.cut(df['price'], bins=price_bins) price_range_analysis = df.groupby('price_range')['payMoney'].sum()

发现50-100元价格带的销售额占比最高，但商品数量却不多。于是补充了这个区间的商品，三个月后该价格带的销售额又增长了60%。