麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 學院 > 編程設(shè)計 > 正文

hadoop入門之統(tǒng)計單詞在文件中出現(xiàn)的個數(shù)示例

2020-07-14 13:30:06
字體:
供稿:網(wǎng)友

Linux環(huán)境:CentOs6.4  

Hadoop版本:hadoop-0.20.2

內(nèi)容:統(tǒng)計hadoop/bin下的所有文件中單詞出現(xiàn)的個數(shù)。

所用到的命令有:


復制代碼
代碼如下:

//創(chuàng)建input文件夾
./hadoop fs -mkdir input
//將所有的需要統(tǒng)計單詞個數(shù)的文件放在input文件夾下
./hadoop fs -put *.sh /input/
//運行wordcount將結(jié)果輸出到output文件夾下
./hadoop jar hadoop-examples-0.20.2.jar wordcount /input /output
//驗證某個單詞的個數(shù)
grep xxx *.sh
grep xxx *.sh|wc

第一步:確定HDFS、MapReduce、jobTracker等是否正常啟動。查看http://www.companysz.com/softjc/137245.html

第二步:在Hadoop文件系統(tǒng)根目錄中創(chuàng)建input文件夾。

執(zhí)行命令:

打開網(wǎng)頁查看input文件夾是否創(chuàng)建成功:

上圖表明已經(jīng)成功。

第三步:將bin目錄下的所有文件放到hadoop文件系統(tǒng)的input目錄下。

執(zhí)行命令:

通過瀏覽器查看input文件夾下是否已經(jīng)存在所存放的文件。

 

第四步:執(zhí)行wordcount命令統(tǒng)計單詞個數(shù)。

  回到Hadoop文件夾下,找到統(tǒng)計個數(shù)的jar包。如圖,在hadoop-0.20.2目錄下有一個hadoop-0.20.2-examples.jar。

 

運行命令執(zhí)行此jar,統(tǒng)計個數(shù)。并將輸出結(jié)果放在output目錄下。命令如下:

運行成功。

第五步:驗證結(jié)果是否正確。通過命令統(tǒng)計某一單詞的個數(shù),與MapReduce統(tǒng)計的個數(shù)進行對比。

通過命令查看文件中l(wèi)anguage單詞的個數(shù)為12個,如圖。

 

查看MapReduce運行結(jié)果,如圖:

運行結(jié)果相同。

 

附:從過頁面查看運行狀態(tài)

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 亚洲欧美国产精品va在线观看 | 久久sp| 成人免费在线观看视频 | 91久久久久久亚洲精品禁果 | 久久亚洲精品久久国产一区二区 | 91av亚洲| 久久国产精品区 | 国产精品视频一区二区三区四 | 少妇一级淫片免费放4p | 成人在线视频精品 | av影院在线播放 | 竹内纱里奈和大战黑人 | 免费看综艺策驰影院 | 成人免费网站在线观看视频 | 91精品视频网址 | 国产精品成aⅴ人片在线观看 | caoporn国产一区二区 | 欧美a∨亚洲欧美亚洲 | 免费国产自久久久久三四区久久 | av电影在线观看网址 | 久久精品一级片 | 27xxoo无遮挡动态视频 | 欧美一级特黄特色大片免费 | 91精品国产手机 | 欧洲成人一区二区 | 4p一女两男做爰在线观看 | 91精品国产刺激国语对白 | 91视频站 | 看免费av | 中文区中文字幕免费看 | av免费在线网站 | 久久精品日韩一区 | 国产精品欧美久久久久一区二区 | 男女无套免费视频 | 一级黄色毛片a | 理论片中文字幕 | 国产自在自线午夜精品视频在 | 精品国产一区二区三区四 | 香蕉视频1024 | 久久久久成人免费 | 日韩区在线 |