下载 hadoop-2.2.0.tar.gz
tar
-xzvf hadoop-2.2.0.tar.gz
cd
hadoop-2.2.0
vi
etc/hadoop/hadoop-env.sh
修改:
export JAVA_HOME=/usr/local/jdk1.7.0_15
vi
etc/hadoop/slaves
修改localhost为hostmaster
vi
etc/hadoop/core-site.xml
增加:
<property>
<name>fs.defaultFS</name>
<value>hdfs://hostmaster:9000</value>
</property>
cp
etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi
etc/hadoop/mapred-site.xml
增加:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/ysc/mapreduce/local</value>
</property>
vi
etc/hadoop/yarn-site.xml
增加:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>host001</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
vi
etc/hadoop/hdfs-site.xml
增加:
<property>
<name>dfs.name.dir</name>
<value>你的目录/dfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>你的目录/dfs/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value> <!--为分布式改为1-->
</property>
sudo vi /etc/profile
增加:
export HADOOP_PREFIX=/home/ysc/hadoop-2.2.0
export HADOOP_COMMON_HOME=/home/ysc/hadoop-2.2.0
export HADOOP_MAPRED_HOME=/home/ysc/hadoop-2.2.0
export HADOOP_CONF_DIR=/home/ysc/hadoop-2.2.0/etc/hadoop
export HADOOP_HDFS_HOME=/home/ysc/hadoop-2.2.0
export HADOOP_YARN_HOME=/home/ysc/hadoop-2.2.0
source
/etc/profile
格式化:
bin/hdfs namenode -format
启动dfs:
sbin/start-dfs.sh
启动yarn:
sbin/start-yarn.sh
运行wordcount:
echo "Hello this is first hadoop2.2.0" > text1.txt
echo "start stop start stop" > text2.txt
bin/hadoop fs -mkdir input
bin/hadoop fs -put text1.txt input
bin/hadoop fs -put text2.txt input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount input output
访问管理页面
http://hostmaster:8088
http://hostmaster:50070
停止dfs:
sbin/stop-dfs.sh
停止yarn:
sbin/stop-yarn.sh
分享到:
相关推荐
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
自己配了一遍hadoop2.2.0,写给新手,绝对详细,后面还有一个配好了的测试文档,在我的资源里找
Hadoop 2.2.0版本中在64为linux系统上运行所需要的native库文件。需要时用此native文件夹覆盖Hadoop 2.2.0中native文件夹即可。
hadoop2.2.0集群搭建
Hadoop2.2.0安装配置手册,新手安装和配置
hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。
Hadoop官网上下载的hadoop-2.2.0安装包是32位的,直接运行在64位的linux系统上会有问题,所以需要自己将hadoop-2.2.0安装包编译为64位。
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程.
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
Hadoop2.2.0版本 - 虚拟机VMWare - Linux(ubuntu) ,多节点伪分布环境搭建详细操作手册,可以直接用于完全分布。每一步都有自己详细操作记录和相关说明,几夜风雨的辛劳搭建和测试。 此操作手册搭建的集群详细说明: ...
此hadoop是hadoop-2.2.0是32位的编译出来的,亲测可用
在CentSO_64bit集群搭建,hadoop2.2(64位)编译 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本。 注1:官网只提供32位release版本, 若机器为64位,需要手动编译。 环境配置是个挺烦人的活,麻烦不说还...
hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler
Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...
hadoop2.2.0安装指南
Hadoop 2.2.0 分布式安装指导
用于windows下eclipse连接hadoop2.2.0的插件以及eclipse版本,亲测可用