当前位置：首页 > news >正文

Hadoop 3.1.3 环境配置：Ubuntu 18.04 单节点部署与 18 个核心命令验证

news 2026/7/11 21:15:18

Hadoop 3.1.3 单节点部署与核心命令实战指南

在当今数据驱动的时代，掌握大数据处理技术已成为IT从业者的必备技能。Hadoop作为开源分布式计算框架的基石，其单节点部署是初学者理解分布式系统原理的最佳起点。本文将带您从零开始，在Ubuntu 18.04系统上完成Hadoop 3.1.3伪分布式环境的搭建，并通过18个核心命令的实战演示，构建完整的大数据实验环境。

1. 环境准备与基础配置

1.1 系统要求与初始设置

在开始部署前，请确保您的Ubuntu 18.04系统满足以下条件：

至少4GB内存（推荐8GB）
50GB可用磁盘空间
已配置sudo权限的非root用户

关键配置步骤：

# 更新系统软件包 sudo apt-get update && sudo apt-get upgrade -y # 安装必要工具 sudo apt-get install -y ssh pdsh openjdk-8-jdk

1.2 Java环境配置

Hadoop 3.1.3需要Java 8运行环境，配置过程如下：

# 检查Java版本 java -version # 设置JAVA_HOME环境变量 echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc source ~/.bashrc

注意：如果系统预装的是更高版本的Java，需要手动安装OpenJDK 8并通过update-alternatives切换默认版本。

2. Hadoop伪分布式安装

2.1 下载与解压

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz tar -xzvf hadoop-3.1.3.tar.gz -C /opt/ sudo mv /opt/hadoop-3.1.3 /opt/hadoop

2.2 关键配置文件修改

需要配置四个核心文件：

core-site.xml：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> </configuration>

hdfs-site.xml：

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/namenode</value> </property> </configuration>

2.3 环境变量配置

将以下内容添加到~/.bashrc文件末尾：

export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

3. 系统启动与验证

3.1 初始化HDFS

hdfs namenode -format

3.2 启动Hadoop服务

start-dfs.sh start-yarn.sh

验证服务是否正常运行：

jps

正常应显示以下进程：

NameNode
DataNode
ResourceManager
NodeManager
SecondaryNameNode

4. Linux与HDFS命令对照实战

4.1 文件系统操作对比

Linux命令	HDFS等效命令	功能描述
`ls`	`hdfs dfs -ls`	列出目录内容
`mkdir`	`hdfs dfs -mkdir`	创建目录
`cp`	`hdfs dfs -cp`	复制文件

4.2 实战命令示例

基础目录操作：

# 创建用户目录 hdfs dfs -mkdir -p /user/$(whoami) # 本地文件上传到HDFS hdfs dfs -put ~/.bashrc /user/$(whoami)/example.txt # 查看HDFS文件内容 hdfs dfs -cat /user/$(whoami)/example.txt | head -n 5

高级文件管理：

# 合并多个HDFS文件 hdfs dfs -getmerge /user/$(whoami)/input/* merged_local.txt # 设置文件权限（HDFS特有） hdfs dfs -chmod 644 /user/$(whoami)/example.txt

5. 性能调优与问题排查

5.1 关键配置参数优化

编辑etc/hadoop/hadoop-env.sh：

# 增加NameNode内存分配 export HADOOP_HEAPSIZE_MAX=1024m # 启用压缩提高效率 export MAPRED_COMPRESS_MAP_OUTPUT=true

5.2 常见问题解决方案

问题1：端口冲突

# 检查端口占用 netstat -tulnp | grep 9000 # 解决方案：修改core-site.xml中的默认端口

问题2：磁盘空间不足

# 检查DataNode存储目录 hdfs dfsadmin -report # 解决方案：清理临时文件或扩展存储空间

6. 扩展功能与进阶实践

6.1 YARN资源管理

# 查看集群资源使用情况 yarn node -list # 提交示例MapReduce作业 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 10 100

6.2 数据备份策略

# 创建HDFS快照 hdfs dfsadmin -allowSnapshot /user hdfs dfs -createSnapshot /user backup_$(date +%Y%m%d)

7. 环境验证与测试

7.1 核心命令验证清单

完成以下18个命令的实操验证：

HDFS目录操作：
```
hdfs dfs -mkdir /test hdfs dfs -ls /
```

文件上传下载：

hdfs dfs -put localfile.txt /test/ hdfs dfs -get /test/localfile.txt ./download/

权限管理：

hdfs dfs -chown hadoop:hadoop /test hdfs dfs -chmod 750 /test

集群监控：

hdfs dfsadmin -report yarn application -list

7.2 自动化验证脚本

创建validate_hadoop.sh脚本：

#!/bin/bash # 验证HDFS基础功能 hdfs dfs -test -d /tmp || hdfs dfs -mkdir /tmp echo "Hello Hadoop" > test.txt hdfs dfs -put test.txt /tmp/ hdfs dfs -cat /tmp/test.txt | grep "Hello Hadoop" && echo "验证成功" || echo "验证失败"