博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
自己搭建一套hadoop的运行环境
阅读量:4188 次
发布时间:2019-05-26

本文共 1806 字,大约阅读时间需要 6 分钟。

对于使用hadoop进行开发的朋友们,可能要自己搭建一套hadoop的运行环境,如果不是经常变动的还好,如果,经常搭建而且还是多台机器,那么我们一个个的安装,就显得有点捉襟见肘了,这也是这个脚本诞生的目的,主要帮助我们在快速搭建hadoop集群,以及安装底层的配置依赖环境如JDK,Maven,Ant等,在安装hadoop前,还有一些关于linux基础的工作需要做,包括SSH无密码登陆和批量用户创建,不过,别担心,散仙已经写好了,大家直接用就OK, 需要的朋友,请点击

如果ssh认证搞定和hadoop的用户创建完毕后,我们就可以,执行散仙的脚本进行安装了
说明如下:

Java代码  
  1. 脚本开发者:三劫散仙  
  2. 技术交流群:376932160  
  3.   
  4. 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作,  
  5. 在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。  
  6.   
  7.   
  8. 本hadoopsys的安装包,带了如下几种开源框架  
  9.   
  10. 1,Ant1.9.4  
  11. 2,Maven3.0.5  
  12. 3,JDK1.7u25  
  13. 4,Hadoop2.2.0  
  14. 5,Hbase0.96.2  
  15. 6,Zookeeper3.4.5  
  16. 7,Hive0.13.13  
  17. 全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置  
  18.   
  19. 本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置  
  20. 分别在压缩包内的conf目录,关于Hive,暂时没有安装。  
  21.   
  22.   
  23. 脚本配置说明:  
  24. 1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip  
  25. 2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里  
  26. 3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新  
  27. 打包。  
  28. 4,然后执行pub脚本,进行机器分发压缩包,并解压  
  29. 5,最后执行begin脚本,开始执行安装  
  30. 6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的  
  31. 是给指定的用户目录路径下解压安装框架  
  32.   
  33.   
  34.   
  35. 一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的  
  36. 机器上,进行格式化,然后启动hadoop集群即可。  
脚本开发者:三劫散仙技术交流群:376932160本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作,在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。本hadoopsys的安装包,带了如下几种开源框架1,Ant1.9.42,Maven3.0.53,JDK1.7u254,Hadoop2.2.05,Hbase0.96.26,Zookeeper3.4.57,Hive0.13.13全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置分别在压缩包内的conf目录,关于Hive,暂时没有安装。脚本配置说明:1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新打包。4,然后执行pub脚本,进行机器分发压缩包,并解压5,最后执行begin脚本,开始执行安装6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的是给指定的用户目录路径下解压安装框架一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的机器上,进行格式化,然后启动hadoop集群即可。

解压后的文件如下:
脚本在最后会打包上传,关于各个安装包,就不上传了,上传的大小有限制,大家可以自己下载对应的版本。

转载地址:http://fxjoi.baihongyu.com/

你可能感兴趣的文章
(六) Git--标签管理
查看>>
java中继承,子类是否继承父类的构造函数
查看>>
什么是Spring Cloud ?
查看>>
Qt下D-Bus的具体运用(软键盘输入法的实现)
查看>>
嵌入式环境的搭建(用于Arm开发板)
查看>>
Qt中文件读取的几种方式
查看>>
pyqt实现界面化编程
查看>>
qt写DLL文件并调用和出现的问题分析
查看>>
工厂模式(Factory)-设计模式(一)
查看>>
建造者模式(Builder)-设计模式(三)
查看>>
Qt 怎么给QWidget添加滚动条
查看>>
双十一冲刺业绩,完不成杀运营祭天?程序员:你们也有今天
查看>>
搜狗输入法到底算不算恶意挟持百度搜索流量?五个测试告诉你答案
查看>>
百度成为美国领先的人工智能联盟的第一个中国成员
查看>>
程序员资讯:QR代码在公共交通中得到越来越多的采用
查看>>
当了将近十年的程序员,为什么从来没见过程序员带孩子
查看>>
程序员面试中最容易碰到的五个套路!应届生最容易上当
查看>>
三种不同的程序员,你属于哪一种?如果要裁员,你会让谁走?
查看>>
干货神总结,程序员面试技巧
查看>>
深度解析BAT三家互联网公司,为什么腾讯产品第一,百度技术第一,阿里运营第一?
查看>>