(博客園-番茄醬原創)
首先感謝作者lxdhdgss,他的博文直接幫助了我如何安裝hadoop,下面是他的博文修改版,用于安裝在fedora20上面的,jdk1.8版本。
到hadoop官網去copy一下鏈接地址(hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz),在終端wget url(下載鏈接地址),會直接下載到當前目錄下。然后解壓,tar xvf apache-hadoop-2.5.1.tar.gz,解壓下載的tar.gz。會看到一個名為hadoop-2.5.1的文件夾,把它拷貝到自己平時安裝軟件的地方,比如我是/opt/lib64/下面,命令是mv hadoop-2.5.1 /opt/lib64/。
注意:下面修改的時候,大家不會用vi,就用gedit來代替吧,可視化操作,簡潔明了。如vi xxx可以換成gedit xxx
下面就需要對Hadoop進行設置了。
首先vi /etc/PRofile,增加
bash代碼
1 #設置jdk的安裝路徑2 export java_HOME=/opt/lib64/jdk1.8.0_203 #指定CLASSPATH和PATH4 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib5 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin6 #設置的hadoop的環境變量7 export HADOOP_HOME=/opt/lib64/hadoop-2.5.18 export PATH=$HADOOP_HOME/bin:$PATH9 export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH
保存退出(按下ESC,然后再按下這三個:wq)
哦,別忘了在終端執行命令下source /etc/profile,讓修改過的profile馬上生效。
然后進入hadoop下面的etc/hadoop/(不是系統的etc,是hadoop下面的etc,這是一個配置文件夾),用ls命令,可以看到有很多配置文件。
先vi hadoop-env.shbash代碼export JAVA_HOME=/opt/lib64/jdk1.8.0_20vi yarn-env.sh bash代碼export JAVA_HOME=/opt/lib64/jdk1.8.0_20
vi core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/xxx/tmp </value></property> </configuration>
保存退出(按下ESC,然后再按下這三個:wq)
vi hdfs-site.xml
Xml代碼
1 <configuration> 2 <property> 3 <name>dfs.namenode.name.dir</name> 4 <value>file:/home/hadoop/dfs/name</value> 5 </property> 6 <property> 7 <name>dfs.namenode.data.dir</name> 8 <value>file:/home/hadoop/dfs/data</value> 9 </property> 10 <property> 11 <name>dfs.replication</name> 12 <value>1</value> 13 </property> 14 </configuration>
保存退出(按下ESC,然后再按下這三個:wq)
----------------------------按照hadoop官網上面的配置-----------------------
vi mapred-site.xml
Xml代碼
<configuration> <property> <name>mapreduce.jobtracker.address</name> <value>localhost:9001</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
保存退出(按下ESC,然后再按下這三個:wq)
vi yarn-site.xml:
Xml代碼
1 <configuration>2 <property>3 <name>yarn.nodemanager.aux-services</name>4 <value>mapreduce_shuffle</value>5 </property>6 </configuration>
保存退出(按下ESC,然后再按下這三個:wq)
-------------------------------------------------------------------------------
-------------------------補充---------------ssh免登陸設置
還有就是:由于原文沒有設置如何面驗證登陸ssh,這邊給與補充。
由于fedora已經默認安裝了openssh,所以不用再此安裝ssh了。直接直接配置以下就可以了
配置 SSH 免密碼登陸 ,下面是bash命令,直接在終端輸入(最好是root身份,如何root?只要終端輸入su,然后root的密碼就可以登陸root賬戶了)
就可以了。到此就大功告成了
-----------------------------------------------------------------------------
好了,現在可以啟動看看了
先格式化,這個很重要。
bash命令這句話基本上就是把目前你的hadoop系統確定一下結構,我們的hadoop系統中,一般是一個namenode+多個datanode。
namenode相當于顧客房間表,datanode相當于具體的房間。
然后啟動hadoop吧。
到hadoop的根目錄,
bash命令然后再啟動yarn,因為2.5.0的版本,早就已經是以yarn這種更好的架構來運行了。
終端顯示Starting namenodes on [localhost]root@localhost's passWord: localhost: starting namenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-namenode-localhost.localdomain.outroot@localhost's password: localhost: starting datanode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-datanode-localhost.localdomain.outStarting secondary namenodes [0.0.0.0][email protected]'s password: 0.0.0.0: starting secondarynamenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out終端顯示然后查看一下開啟的進程
bash命令說明hadoop已經啟動成功。
打開hdfs管理頁面,查看hdfs系統:
在瀏覽器打開http://localhost:50070,可看到hadoop的管理界面,導航欄的最后一項還可以查看hadoop里面的文件。
我們來試著傳個文件,到/home下面,新建一個文件,vim test.txt,隨便寫些東西。保存。
然后把這個文件上傳。
打開job管理頁面,查看job的運行情況:
由于這個是hadoop2.5.1版本,貌似以前的http://localhost:50030換成了現在的http://localhost:8088,所以需要查看jod的運行情況,需要在瀏覽器打開localhost:8088
現在的ResourceManager和NodeManager代替了原來的JobTracker和TaskTracker
bash命令在瀏覽器的后臺刷新看看有沒有test.first(打開http://localhost:50070,選擇utilties在點擊browse the file system)。
你也可以先給hadoop建立目錄
bash命令上面的上傳文件也可以變成這樣:
bash命令其他的操作,大家自己去試吧。
特別感謝lxdhdgss,他的博文地址是:http://www.CUOxin.com/topic/1135085
(官網有英文版的配置說明,大家可以參照http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Configuration)
新聞熱點
疑難解答