Sqoop 从 MySQL 导入数据到 Hive：参数解析与实战指南

摘要：本文详细解析了使用 Apache Sqoop 将数据从 MySQL 导入到 Apache Hive 的完整流程。内容涵盖核心原理、必选与可选参数详解、两种主流导入方法（直接导入与导入 HDFS）的典型命令示例，以及关键的注意事项。旨在帮助读者快速掌握 Sqoop 数据迁移的核心技能。

一、核心原理

Sqoop 将数据从关系型数据库（如 MySQL）导入到 Hadoop 生态的 Hive 数据库，其核心过程分为两步：

1. 数据抽取与传输：Sqoop 通过 JDBC 连接 MySQL，将数据抽取并传输到 Hadoop 分布式文件系统（HDFS）上。
2. 数据加载：将 HDFS 上的数据文件加载到 Hive 的数据仓库中，完成数据迁移。

理解这一“两步走”的架构，是掌握后续参数和命令的基础。

二、参数详解

Sqoop 命令的参数分为必选和可选两大类，正确配置是成功导入的关键。

2.1 必选参数

以下参数是执行导入操作时必须指定的：

• --connect <jdbc-url>：指定 MySQL 数据库的 JDBC 连接信息。
• --username <name>：MySQL 数据库的登录账户。
• --password <pwd>：MySQL 数据库的登录密码。
• --table <table-name>：指定要导出的源关系数据库表名。
• --hive-import：启用此标志，表示目标是将数据导入 Hive。

2.2 常用可选参数

以下参数可根据具体场景灵活选用，以优化导入过程：

• 输出格式控制
  • --as-textfile：将数据导入为普通文本文件（默认）。
  • --as-sequencefile：将数据导入为 SequenceFile 格式。
  • --as-avrodatafile：将数据导入为 Avro 数据文件。
• 数据筛选与映射
  • --columns <col1,col2,...>：指定要导入的字段列表。
  • --where <condition>：指定导入数据的查询条件，例如--where 'id < 100'。
  • --query <select-statement>：通过自定义 SQL 查询语句导入数据，需与--target-dir配合使用。
• Hive 相关
  • --hive-table <table-name>：目标 Hive 表名。
  • --hive-database <db-name>：目标 Hive 数据库名。
  • --hive-overwrite：导入前清空目标 Hive 表中的所有数据。
  • --hive-partition-key <key>：指定 Hive 表的分区字段（类型默认为 string）。
  • --hive-partition-value <value>：与--hive-partition-key配合，指定导入的分区值。
• 性能与存储
  • -m或--num-mappers <n>：指定并行执行的 Map 任务数，默认为 4。
  • --split-by <column-name>：指定用于数据分片的字段，以实现并行导入。
  • --target-dir <hdfs-path>：指定数据导入 HDFS 时的目标目录。
  • --delete-target-dir：如果目标目录已存在，则先删除。
• 数据格式处理
  • --fields-terminated-by <char>：指定字段分隔符，如','。
  • --lines-terminated-by <char>：指定行分隔符，如'\n'。
  • --null-string <string>：指定字符串类型为 NULL 时的替代字符。
  • --null-non-string <string>：指定非字符串类型为 NULL 时的替代字符。
  • --hive-drop-import-delims：导入到 Hive 时，删除数据中的\n、\r、\01等特殊字符。

三、实战方法

根据 Sqoop 的工作原理，主要有两种将 MySQL 数据导入 Hive 的方法。

3.1 方法一：直接导入

此方法通过--hive-import参数，将 MySQL 数据直接导入到指定的 Hive 表中，Sqoop 会自动完成 HDFS 暂存和 Hive 加载两步。

典型命令示例：

sqoop import \ --connect jdbc:mysql://localhost:3306/bdp \ --username root \ --password bdp \ --table emp \ --hive-import \ --hive-database test \ --hive-table EMP \ --where 'id > 10' \ --hive-partition-key time \ --hive-partition-value '2018-05-18' \ --null-string '\\N' \ --null-non-string '\\N' \ --fields-terminated-by ',' \ --lines-terminated-by '\n' \ -m 1

适用场景：适用于将单个 MySQL 表中的部分或全部数据直接导入到 Hive 表的情况，操作简洁。

3.2 方法二：导入 HDFS 再加载

此方法分为两步：先将数据导入 HDFS，再通过 Hive 的LOAD DATA命令将数据加载到 Hive 表。适用于需要复杂数据预处理或跨表查询的场景。

步骤 1：导入数据到 HDFS

sqoop import \ --connect jdbc:mysql://localhost:3306/bdp \ --username root \ --password bdp \ --query 'SELECT * FROM emp INNER JOIN user ON emp.id=user.id WHERE $CONDITIONS' \ --split-by id \ --target-dir /user/data/mysql/emp \ -m 1

步骤 2：加载数据到 Hive 表

# 在 Hive 中执行 LOAD DATA INPATH '/user/data/mysql/emp' INTO TABLE test.EMP2;

适用场景：适用于需要从多张 MySQL 表 JOIN 后导入复杂数据集的场景，灵活性更高。

四、关键注意事项

1. 分隔符一致性：通过--fields-terminated-by和--lines-terminated-by指定的分隔符，必须与目标 Hive 表的定义完全一致，否则会导致数据加载后字段值为 NULL。
2. 字段映射：使用--columns参数时，指定的 MySQL 字段必须与目标 Hive 表的字段在名称、顺序和数据类型上对应，否则会引发异常。
3. 分区限制：--hive-table参数仅支持单个静态分区（通过--hive-partition-key和--hive-partition-value指定）。如需多分区，应使用--hcatalog-table、--hcatalog-database、--hcatalog-partition-keys和--hcatalog-partition-values参数。
4. 更新限制：Hive 本身不支持行级更新（UPDATE），因此 Sqoop 导入 Hive 的数据只能进行追加（Append）或覆盖（Overwrite）操作，无法实现增量更新。