Linux環(huán)境:CentOs6.4
Hadoop版本:Hadoop-1.1.2
master: 192.168.1.241 NameNode JobTracker DataNode TaskTracker
slave:192.168.1.242 DataNode TaskTracker
內(nèi)容:想hadoop文件系統(tǒng)中上傳一個(gè)大文件,驗(yàn)證文件分別分布在192.168.1.241節(jié)點(diǎn)和192.168.1.242節(jié)點(diǎn)上。
第一步: 前期工作:搭建Hadoop集群,
在hdfs-site.xml中的配置為2.
復(fù)制代碼代碼如下:
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
運(yùn)行執(zhí)行start-all.sh命令,運(yùn)行結(jié)果如圖所示:
查看9000和9001的信息
9000是HDFS的入口9001是MapReduce的JobTracker的入口
從以上圖中可以確定Ip地址為192.168.1.241.
第二步:通過網(wǎng)頁查看節(jié)點(diǎn)的個(gè)數(shù)。在瀏覽器中輸入http://localhost:50070
以上看到LiveNodes的個(gè)數(shù)為2,說明啟動(dòng)成功。
第三步:上傳大文件。具體步驟如圖所示:
通過網(wǎng)頁查看運(yùn)行狀況:
大文件已經(jīng)上傳成功.文件的大小是244.91MBlock的大小是64M。所以每個(gè)節(jié)點(diǎn)能夠有4個(gè)Block。
Replication為2,表明每個(gè)Block有2個(gè)備份。
查看節(jié)點(diǎn)的使用情況:
從圖中可以看出,此文件分成了4個(gè)Block。(TotalNumberofblocks:4)。
每個(gè)Block在兩個(gè)節(jié)點(diǎn)上進(jìn)行了備份,分別是192.168.1.241192.168.1.242
hadoop集群至此測試結(jié)束。測試成功。
新聞熱點(diǎn)
疑難解答
圖片精選