5.2.2 格式标准化与合并去重

办公数据常来自多渠道，如来自不同部门的Excel、问卷星收集的CSV、手动录入的文档，导致数据格式不统一、数据重复。

千问可以统一数据格式，合并多个表格，去除重复数据，输出标准化合并表格，适配数据汇总、报表制作场景。

1.常见格式标准化场景

（1）日期格式：统一为“YYYY-MM-DD”“YYYY年MM月DD日”或“MM/DD/YYYY”。

（2）金额格式：统一货币符号（如“¥”“$”）、小数位数（保留2位）、千分位分隔（可选）。

（3）编码格式：统一产品编码、客户编码规则，如“区域+类别+序号”。

（4）文本格式：统一大小写、去除多余空格、标准化简称，如“有限公司”简称为“公司”。

2.合并去重核心逻辑

（1）合并逻辑：按“关键字段关联”合并多源数据，如按“客户ID”合并销售数据与客户信息数据。

（2）去重逻辑：按“核心关键字段”判定重复，支持“保留最新记录”“保留最早记录”“汇总重复记录数据”三种方式。

示例：合并数据表格并去重

某公司销售部每月导出一份销售数据，Q1表格日期格式为“2024/01/15”，Q2为“02-20-2024”，Q3为“2024-07-18”；销售额单位Q1/Q2为“元”，Q3为“千元”。现需将三张表合并为一张2024年全年表，日期统一为“YYYY-MM-DD”，销售额统一换算为“万元”（保留2位小数），并按“产品+日期”去重（因系统偶尔重复上报），最终用于年度分析。

提示词如下：

你是一名数据标准化专员，请完成以下任务：

【数据来源】2024年Q1–Q3销售数据

【处理需求】

1.格式标准化：日期统一为“YYYY-MM-DD”，销售额统一为“万元”（保留2位小数）

2.合并表格：将3个季度表格合并为1个全年表格

3.去重处理：按“产品+日期”去重，保留销售额最高的记录

【输出要求】

-输出标准化合并表格

-标注格式转换说明、合并记录数、去重条数

千问对话主窗口对话框右下角，单击按钮，在打开的下拉列表中选择“上传文档”选项，上传“2024年客户信息表.xlsx”文档。

输出结果如下：

✅格式转换说明

• 日期格式标准化
  • 原始格式包括：M/D/YY（如1/5/24）、MM-DD-YYYY（如04-06-2024）、M/D/YY（如7/4/24）等
  • 已统一转换为标准格式：YYYY-MM-DD
• 销售额单位统一
  • Q1、Q2数据单位为“元”，Q3数据单位为“千元”
  • 所有数据已统一换算为“万元”，并保留2位小数
    • Q1/Q2：除以10,000
    • Q3：除以10（因原始为“千元”→千元÷ 10 =万元）

📊标准化合并表格（部分）

📈处理统计信息

• 原始记录总数：31条
  • Q1：10条
  • Q2：10条
  • Q3：11条
• 合并后记录数：31条
• 去重条数：0条（所有(产品,日期)组合均唯一，无重复）

小技巧

合并多表格时，可明确 “合并键”（如 “产品 + 日期”），避免合并混乱；格式标准化时，可提供“目标格式示例”（如“日期目标格式：2024-01-01”），让系统精准适配；若需保留原始数据备份，可提示“输出清洗后数据的同时，保留原始数据对照表”。