2021-07-29

初识Hadoop的三种安装模式

特点：高可靠性（不怕丢）、高效性（处理速度快）、高容错性

  • ps:使用Hadoop版本：

接下来所用到的Hadoop2.8.5，虽然目前Hadoop已经更新到3.x了；但是我们始终秉持一个观点"用旧不用新"，因为毕竟旧版本较为稳定(目前虽然jdk出到版本为16了，但是我们还是会使用jdk8和jdk11)，包括后期使用的各项Hive、Hbase等都需要与hadoop版本相对应，很难去找此类资源；当然如果到公司以后，公司也会给你提供好相应版本的，直接用就可以。

Hadoop

HDFS：分布式文件系统---需要安装

MapReduce：分布式离线计算框架----不需要安装----逻辑概念-----需要编码实现

Yarn：分布式资源调度系统----需要安装

安装方式：

  • 本地模式
  • 伪分布式模式---一台电脑
  • 完全分布式

1.本地模式配置

(本模式下：hdfs和yarn组件无法使用，只能使用mapreduce-----一般只用来测试mapreduce)

一般会将目录设置为（/opt目录一般存放第三方软件）---app下放安装的软件，software下放第三方软件的压缩包

image-20210727125043807

  • 解压hadoop压缩包至/opt/app目录下

img

  • vim /etc/profile来更改系统环境变量(配置Hadoop的环境变量：目的是为了能够在任何目录下都能使用hadoop命令)

    export HADOOP_HOME=/opt/app/hadoop-2.8.5export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • source /etc/profilehadoop version

    image-20210727130049405

2.伪分布式模式

（本模式下：hadoop的组件hdfs和yarn都在一台机器上，需要去修改配置文件）

前言：一个巨大的文件需要进行存储，单台计算机肯定是不能存储这个文件的，因此我们可以将这个文件切割成几个部分，分别放到不同计算机上。但是这时出现了一个问题：三台机器上存储的文件互相没有联系，大文件怎么能下载呢？ 此时可以在每个电脑上安装HDFS进行 "关系定义"，接下来讨论下这个关键性技术HDFS

主从模式--分布式软件：一个主节点，多个从节点

  • 熟悉概念

    • HDFS{

      ​ NameNode：存储元数据{领导，知道数据放到哪里}

      ​ DataNode：存储数据(员工)

      ​ SecondaryNameNode：(秘书)

      }

    • Yarn{
      ​ ResourceManager (相当于NameNode：领导)

      ​ NodeManager （相当于DataNode：员工）

      }

  • 配置项

    image-20210727144804823

（.sh文件进行与java相连的jdk配置：配置JAVA_HOME=/opt/app/jdk1.8）

（.

1.core-site.
2.hdfs-site.
3.mapred-site.
4.yarn-site.

  • 格式化NameNode

    (相当于创建core-site.

    {只能格式化1次，如果非要格式化的话，那么可以将产生的temp文件删除}

hadoop namenode -format

  • 开启hdfs服务和yarn服务

    start-dfs.shstart-yarn.sh

  • 访问验证

    namenode访问网址 src="https://gitee.com/happy-prince/my_-images/raw/master//bz_shop/20210727155109.png" alt="image-20210727155107899" loading="lazy">
    image-20210727154950966

  • 补充

    通过此种方式，你会发现在启动各个节点时需要反复输入密码，不想要这样的话，就寻找解决方式：

    配置SSH免密钥登录

    1.生成密钥

    cd ~/.sshssh-keygen -t rsa

    image-20210727162643922

    2.把密码给别人

    ssh-copy-id 192.168.0.20

    image-20210727162918257

3.完全分布式

(最少有3台节点组成的集群)----一般在生产部署时使用

1.需要准备3台虚拟机：通过克隆（创建完整克隆）方式创建


徐家骏：https://www.ikjzd.com/w/1803
epa认证：https://www.ikjzd.com/w/1769
四川省文化和旅游厅艺术顾问座谈会在京召开：http://www.30bags.com/a/433930.html
四川省文化和旅游厅召开2021年全省非遗保护工作会议：http://www.30bags.com/a/434637.html
四川省文化和旅游厅召开智游天府建设动员会：http://www.30bags.com/a/433826.html
四川省乡村旅游节8日开幕 ：http://www.30bags.com/a/406852.html
口述：小姨子与姐夫之间那些不要脸的事儿（上）(4/4)：http://lady.shaoqun.com/a/82892.html
口述实录：一个少妇的疯狂出轨生活：http://lady.shaoqun.com/m/a/72533.html
招生在高校旁边开酒店的推广方式有争议：http://lady.shaoqun.com/a/428527.html
为什么大学附近有那么多小旅馆？大学生不都住校园吗？：http://lady.shaoqun.com/a/428528.html
大学周边的酒店往往供不应求。他们在里面做什么？你有过难忘的经历吗？：http://lady.shaoqun.com/a/428529.html
女人给你这四个暗示是因为想和你发生关系！：http://lady.shaoqun.com/a/428530.html

Posted by at

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)