Linux環(huán)境:CentOs6.4
Hadoop版本:Hadoop-1.1.2
master: 192.168.1.241 NameNode JobTracker DataNode TaskTracker
slave:192.168.1.242 DataNode TaskTracker
內(nèi)容:想hadoop文件系統(tǒng)中上傳一個大文件,驗(yàn)證文件分別分布在192.168.1.241節(jié)點(diǎn)和192.168.1.242節(jié)點(diǎn)上。
第一步: 前期工作:搭建Hadoop集群,
在hdfs-site.xml中的配置為2.
運(yùn)行執(zhí)行start-all.sh命令,運(yùn)行結(jié)果如圖所示:
查看9000和9001的信息
9000是HDFS的入口9001是MapReduce的JobTracker的入口
從以上圖中可以確定Ip地址為192.168.1.241.
第二步:通過網(wǎng)頁查看節(jié)點(diǎn)的個數(shù)。在瀏覽器中輸入http://localhost:50070
以上看到LiveNodes的個數(shù)為2,說明啟動成功。
第三步:上傳大文件。具體步驟如圖所示:
通過網(wǎng)頁查看運(yùn)行狀況:
大文件已經(jīng)上傳成功.文件的大小是244.91MBlock的大小是64M。所以每個節(jié)點(diǎn)能夠有4個Block。
Replication為2,表明每個Block有2個備份。
查看節(jié)點(diǎn)的使用情況:
從圖中可以看出,此文件分成了4個Block。(TotalNumberofblocks:4)。
每個Block在兩個節(jié)點(diǎn)上進(jìn)行了備份,分別是192.168.1.241192.168.1.242
hadoop集群至此測試結(jié)束。測試成功。
新聞熱點(diǎn)
疑難解答
圖片精選