Linux環(huán)境:CentOs6.4
Hadoop版本:hadoop-0.20.2
內(nèi)容:統(tǒng)計hadoop/bin下的所有文件中單詞出現(xiàn)的個數(shù)。
所用到的命令有:
第一步:確定HDFS、MapReduce、jobTracker等是否正常啟動。查看http://www.companysz.com/softjc/137245.html
第二步:在Hadoop文件系統(tǒng)根目錄中創(chuàng)建input文件夾。
執(zhí)行命令:
打開網(wǎng)頁查看input文件夾是否創(chuàng)建成功:
上圖表明已經(jīng)成功。
第三步:將bin目錄下的所有文件放到hadoop文件系統(tǒng)的input目錄下。
執(zhí)行命令:
通過瀏覽器查看input文件夾下是否已經(jīng)存在所存放的文件。
第四步:執(zhí)行wordcount命令統(tǒng)計單詞個數(shù)。
回到Hadoop文件夾下,找到統(tǒng)計個數(shù)的jar包。如圖,在hadoop-0.20.2目錄下有一個hadoop-0.20.2-examples.jar。
運行命令執(zhí)行此jar,統(tǒng)計個數(shù)。并將輸出結(jié)果放在output目錄下。命令如下:
運行成功。
第五步:驗證結(jié)果是否正確。通過命令統(tǒng)計某一單詞的個數(shù),與MapReduce統(tǒng)計的個數(shù)進行對比。
通過命令查看文件中l(wèi)anguage單詞的個數(shù)為12個,如圖。
查看MapReduce運行結(jié)果,如圖:
運行結(jié)果相同。
附:從過頁面查看運行狀態(tài)
新聞熱點
疑難解答
圖片精選