大数据运维项目一 大数据分布式集群

1、A能上网，B不能上网？

2、A能访问B，反之不行？

3、给100台机器修改同一个参数？

4、IP地址可以访问，主机名无法访问？

5、A给B发送一个信息，B说没有收到？

6、集群出现的问题无数，如何保证在不停机的情况下，业务正常运转，这就是“大数据运维师”的职责

1.大数据技术回顾

2.分布式大数据集群规划

3.Windows环境下Linux仿真工具

本次课教学目标 :

课点1.集群规划内容有哪些？

课点2.重要数据目录

课点3.Hosts位置及作用？

课点4.VMware Workstation功能？

课点5.SecureCRT功能？

课点6.SecureFX功能？

二、什么是Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是以分布式文件系统（Hadoop Distributed File System，简称HDFS）和MapReduce等模块为核心，为用户提供底层分布式基础架构

三、Hadoop生态系统

四、Hadoop应用场景

二.分布式大数据集群框架

1.规划必要性

2.规划内容

1.1规划必要性

Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还很高，所以，在正式开始搭建集群前做好集群规划是很有必要的。

任务：用4台主机搭建Hadoop2.0

1.2集群拓扑 master/slave

2.1 规划内容-主机规划

2.2规划内容-软件规划

2.3规划内容-数据目录规划

2.4规划内容-WindowsIP映射

（1）打开hosts文件 [root@hadoop1 ~]# vi /etc/hosts

（2）添加如下参数 172.16.206.16 master 172.16.206.26 masterback 172.16.206.27 slave1 172.16.206.29 slave2

三.练习