hadoop 單機(jī)安裝配置教程

2019-11-26 16:17:51

字體：大中小

供稿：網(wǎng)友

單機(jī)安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等。主要的區(qū)別在于配置文件：slaves配置需要修改，另外如果分布式安裝中dfs.replication大于1，需要修改為1，因?yàn)橹挥?個(gè)datanode.
分布式安裝請(qǐng)參考：
http://acooly.iteye.com/blog/1179828
單機(jī)安裝中，使用一臺(tái)機(jī)器，即做namenode和JobTracker也是datanode和TaskTracker，當(dāng)然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布樹安裝配置，如果分布式安裝配置方案中hdfs-site.xml的副本數(shù)量定義大于1，則修改為1.

復(fù)制代碼代碼如下:

 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

主要不同在于slaves的配置，分布式安裝中是多個(gè)其他機(jī)器作為datanode，單機(jī)模式本機(jī)是datanode,所以修改slaves配置文件為本機(jī)的域名。如：本機(jī)機(jī)器名為hadoop11,則：
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后，啟動(dòng)：

復(fù)制代碼代碼如下:

 
$ start-all.sh 
$ jps 
Jps 
JobTracker 
TaskTracker 
SecondaryNameNode 
DataNode 
NameNode 

運(yùn)行DEMO
$ echo word1 word2 word2 word3 word3 word3 > words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3

上一篇：java/word+fusionchart生成圖表深入分析

下一篇：Java 反射之私有字段和方法詳細(xì)介紹