麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 系統 > Fedora > 正文

fedora20安裝hadoop-2.5.1

2024-06-28 13:24:08
字體:
來源:轉載
供稿:網友
fedora20安裝hadoop-2.5.1

(博客園-番茄醬原創)

首先感謝作者lxdhdgss,他的博文直接幫助了我如何安裝hadoop,下面是他的博文修改版,用于安裝在fedora20上面的,jdk1.8版本。

到hadoop官網去copy一下鏈接地址(hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz),在終端wget url(下載鏈接地址),會直接下載到當前目錄下。然后解壓,tar xvf apache-hadoop-2.5.1.tar.gz,解壓下載的tar.gz。會看到一個名為hadoop-2.5.1的文件夾,把它拷貝到自己平時安裝軟件的地方,比如我是/opt/lib64/下面,命令是mv hadoop-2.5.1 /opt/lib64/。

注意:下面修改的時候,大家不會用vi,就用gedit來代替吧,可視化操作,簡潔明了。如vi xxx可以換成gedit xxx

下面就需要對Hadoop進行設置了。

首先vi /etc/PRofile,增加

bash代碼

1     #設置jdk的安裝路徑2     export java_HOME=/opt/lib64/jdk1.8.0_203     #指定CLASSPATH和PATH4     export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib5     export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin6     #設置的hadoop的環境變量7     export HADOOP_HOME=/opt/lib64/hadoop-2.5.18     export PATH=$HADOOP_HOME/bin:$PATH9     export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

保存退出(按下ESC,然后再按下這三個:wq)

哦,別忘了在終端執行命令下source /etc/profile,讓修改過的profile馬上生效。

然后進入hadoop下面的etc/hadoop/(不是系統的etc,是hadoop下面的etc,這是一個配置文件夾),用ls命令,可以看到有很多配置文件。

先vi hadoop-env.shbash代碼export JAVA_HOME=/opt/lib64/jdk1.8.0_20vi yarn-env.sh bash代碼export JAVA_HOME=/opt/lib64/jdk1.8.0_20

vi core-site.xml

 <configuration>     <property>     <name>fs.default.name</name>    <value>hdfs://localhost:9000</value>   </property>  <property>   <name>hadoop.tmp.dir</name>   <value>/home/hadoop/xxx/tmp </value></property> </configuration> 

保存退出(按下ESC,然后再按下這三個:wq)

vi hdfs-site.xml

Xml代碼

 1 <configuration>   2   <property>   3      <name>dfs.namenode.name.dir</name>   4     <value>file:/home/hadoop/dfs/name</value>   5   </property>   6   <property>   7      <name>dfs.namenode.data.dir</name>   8      <value>file:/home/hadoop/dfs/data</value>   9   </property>  10   <property>  11      <name>dfs.replication</name>  12      <value>1</value>  13   </property>  14 </configuration>

保存退出(按下ESC,然后再按下這三個:wq)

----------------------------按照hadoop官網上面的配置-----------------------

vi mapred-site.xml

Xml代碼

<configuration>     <property>          <name>mapreduce.jobtracker.address</name>          <value>localhost:9001</value>     </property>     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property></configuration>

保存退出(按下ESC,然后再按下這三個:wq)

vi yarn-site.xml:

Xml代碼

1 <configuration>2     <property>3         <name>yarn.nodemanager.aux-services</name>4         <value>mapreduce_shuffle</value>5     </property>6 </configuration>

保存退出(按下ESC,然后再按下這三個:wq)

-------------------------------------------------------------------------------

-------------------------補充---------------ssh免登陸設置

還有就是:由于原文沒有設置如何面驗證登陸ssh,這邊給與補充。

由于fedora已經默認安裝了openssh,所以不用再此安裝ssh了。直接直接配置以下就可以了

配置 SSH 免密碼登陸 ,下面是bash命令,直接在終端輸入(最好是root身份,如何root?只要終端輸入su,然后root的密碼就可以登陸root賬戶了)

  1. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
  2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3. chmod 600 ~/.ssh/authorized_keys
  4. sudo service sshd restart

就可以了。到此就大功告成了

-----------------------------------------------------------------------------

好了,現在可以啟動看看了

先格式化,這個很重要。

bash命令
  1. hadoopnamenode-format

這句話基本上就是把目前你的hadoop系統確定一下結構,我們的hadoop系統中,一般是一個namenode+多個datanode。

namenode相當于顧客房間表,datanode相當于具體的房間。

然后啟動hadoop吧。

到hadoop的根目錄,

bash命令
  1. sbin/start-dfs.sh

然后再啟動yarn,因為2.5.0的版本,早就已經是以yarn這種更好的架構來運行了。

終端顯示Starting namenodes on [localhost]root@localhost's passWord: localhost: starting namenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-namenode-localhost.localdomain.outroot@localhost's password: localhost: starting datanode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-datanode-localhost.localdomain.outStarting secondary namenodes [0.0.0.0][email protected]'s password: 0.0.0.0: starting secondarynamenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out

終端顯示
  1. sbin/start-yarn.sh

然后查看一下開啟的進程

bash命令
  1. jps
終端顯示 [root@localhost hadoop-2.5.1]# jps30305 DataNode26243 org.eclipse.equinox.launcher_1.3.0.v20140415-2008.jar26645 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar30583 SecondaryNameNode8216 ResourceManager30092 NameNode30831 Jps8511 NodeManager

說明hadoop已經啟動成功。

打開hdfs管理頁面,查看hdfs系統:

在瀏覽器打開http://localhost:50070,可看到hadoop的管理界面,導航欄的最后一項還可以查看hadoop里面的文件。

我們來試著傳個文件,到/home下面,新建一個文件,vim test.txt,隨便寫些東西。保存。

然后把這個文件上傳。

打開job管理頁面,查看job的運行情況:

由于這個是hadoop2.5.1版本,貌似以前的http://localhost:50030換成了現在的http://localhost:8088,所以需要查看jod的運行情況,需要在瀏覽器打開localhost:8088

現在的ResourceManager和NodeManager代替了原來的JobTracker和TaskTracker

bash命令
  1. hadoopfs-puttest.txt/test.first (表示將本地的text放置在dfs根目錄下,并且名為test.first可以隨意命名)

在瀏覽器的后臺刷新看看有沒有test.first(打開http://localhost:50070,選擇utilties在點擊browse the file system)。

你也可以先給hadoop建立目錄

bash命令
  1. hadoopfs-mkdir/xxx

上面的上傳文件也可以變成這樣:

bash命令
  1. hadoopfs-puttest.txt/xxx/test.txt

其他的操作,大家自己去試吧。

特別感謝lxdhdgss,他的博文地址是:http://www.CUOxin.com/topic/1135085

(官網有英文版的配置說明,大家可以參照http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Configuration)


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 久久精品国产99久久久古代 | 狠狠干91 | 国产中出视频 | av免费入口 | a黄毛片 | 成人 精品 | 羞羞草视频 | 黄色羞羞视频在线观看 | www.99热视频 | 日本a∨精品中文字幕在线 欧美1—12sexvideos | wwwxxx国产| 亚洲射吧| 欧美日韩在线播放 | 牛牛a级毛片在线播放 | 欧美日韩在线视频观看 | 国产青草视频在线观看 | 91精品国产综合久久久欧美 | 久久久久久久一区二区 | 激情亚洲一区二区 | 色播一区 | 一级黄片毛片免费看 | 九一免费国产 | 国产精品自拍av | 久久久精彩 | 欧美一级小视频 | 红杏网站永久免费视频入口 | 99视频有精品视频高清 | 特级毛片a级毛片100免费 | sm高h视频 | 毛片在线免费视频 | 久久这| 最新毛片在线观看 | 欧美成人久久 | 美女视频网站黄色 | jizzjizz中国人少妇中文 | 桥本有菜免费av一区二区三区 | 久久精品一区视频 | 一区小视频 | 欧产日产国产精品99 | 欧美精品在线免费观看 | 久久人人爽人人爽人人片av高请 |