麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 數據庫 > MongoDB > 正文

MongoDB中MapReduce編程模型使用實例

2020-03-14 13:26:47
字體:
來源:轉載
供稿:網友
作為一個優秀的編程模型,MapReduce在大數據處理中有很大的優勢,而mongodb也支持這一編程模型,本文通過簡單的單詞計數示例論述在mongodb中如何使用MapReduce
 
 

注:作者使用的MongoDB為2.4.7版本。

單詞計數示例:

插入用于單詞計數的數據:

復制代碼代碼如下:

db.data.insert({sentence:'Consider the following map-reduce operations on a collection orders that contains documents of the following prototype'})
db.data.insert({sentence:'I get the following error when I follow the code found in this link'})

 

圖個簡潔,數據中沒有包含標點符號。 在mongo shell寫入以下內容:

復制代碼代碼如下:

var map = function() {
    split_result = this.sentence.split(" ");
    for (var i in split_result) {
        var word = split_result[i].replace(/(^/s*)|(/s*$)/g,"").toLowerCase(); //去除了單詞兩邊可能的空格,并將單詞轉換為小寫
        if (word.length != 0) {
            emit(word, 1);
        }
    }
}

 

var reduce = function(key, values) {
    return Array.sum(values);
}

db.data.mapReduce(
    map,
    reduce,
    {out:{inline:1}}
)

 


db.data.mapReduce的第一和第二個參數分別指定map和reduce,map的輸入是集合中的每個文檔,通過emit()生成鍵值對;而reduce則處理鍵的多個值。

mapReduce的第三個參數指明在內存中進行mapreduce并返回結果,運行結果如下:

復制代碼代碼如下:

{
        "results" : [
                {
                        "_id" : "a",
                        "value" : 1
                },
                {
                        "_id" : "code",
                        "value" : 1
                },
                {
                        "_id" : "collection",
                        "value" : 1
                },
                {
                        "_id" : "consider",
                        "value" : 1
                },
                {
                        "_id" : "contains",
                        "value" : 1
                },
                {
                        "_id" : "documents",
                        "value" : 1
                },
                {
                        "_id" : "error",
                        "value" : 1
                },
                {
                        "_id" : "follow",
                        "value" : 1
                },
                {
                        "_id" : "following",
                        "value" : 3
                },
                {
                        "_id" : "found",
                        "value" : 1
                },
                {
                        "_id" : "get",
                        "value" : 1
                },
                {
                        "_id" : "i",
                        "value" : 2
                },
                {
                        "_id" : "in",
                        "value" : 1
                },
                {
                        "_id" : "link",
                        "value" : 1
                },
                {
                        "_id" : "map-reduce",
                        "value" : 1
                },
                {
                        "_id" : "of",
                        "value" : 1
                },
                {
                        "_id" : "on",
                        "value" : 1
                },
                {
                        "_id" : "operations",
                        "value" : 1
                },
                {
                        "_id" : "orders",
                        "value" : 1
                },
                {
                        "_id" : "prototype",
                        "value" : 1
                },
                {
                        "_id" : "that",
                        "value" : 1
                },
                {
                        "_id" : "the",
                        "value" : 4
                },
                {
                        "_id" : "this",
                        "value" : 1
                },
                {
                        "_id" : "when",
                        "value" : 1
                }
        ],
        "timeMillis" : 1,
        "counts" : {
                "input" : 2,
                "emit" : 30,
                "reduce" : 3,
                "output" : 24
        },
        "ok" : 1,
}

 


results的值是MapReduce的處理結果,timeMillis指明花費的時間;counts中input指明了輸入的文檔數,emit指明了在map中調用emit的次數,reduce指明了reduce的次數(本例中如果單次次數為1則不需要reduce),output指明了輸出的文檔數目。

可以看到,鍵_id不再是自動生成,而是被reduce中的key取代。當然,也可以將結果輸入到一個新的collection中,例如:

復制代碼代碼如下:
db.data.mapReduce( map, reduce, {out:"mr_result"} )

之后查看mr_result集合中的內容即可:
復制代碼代碼如下:
db.mr_result.find()

也可以使用db.runCommand執行mapreduce任務,這種方法為開發者提供了更多的選項,具體請見資料[1]。資料[2][3][4]提供了關于mapreduce更全面的內容。資料[5]給出了優化mapreduce任務的方法,資料[6]是資料[5]的一篇中文翻譯。

 

應該注意的是,資料[5]中提到使用ScopedThread()創建線程,筆者在GUI工具Robomongo的shell中運行 new ScopedThread()時候報錯: ReferenceError: ScopedThread is not defined (shell):1

不過在mongo shell中可以正常運行:

復制代碼代碼如下:

> new ScopedThread()
Sat Mar 22 21:32:36.062 Error: need at least one argument at src/mongo/shell/utils.js:101

 

如果使用其他編程語言管理MongoDB,要用到線程時,應該使用該編程語言內置的線程。

關于mongodb實現的mapreduce,個人覺得如果支持多個MR任務平滑過渡就更好了。


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 免费观看一级黄色片 | 成人福利视频在 | 看国产毛片 | 久久99精品久久久久久园产越南 | 日韩电影av在线 | 日本一区免费看 | 久久久久久久久久久久网站 | 91精品国产日韩91久久久久久360 | 国产片91 | 成人午夜高清 | 亚洲狠狠入 | 国产一区二区视频网站 | 精品成人国产在线观看男人呻吟 | 国产一级毛片国语版 | 国产精品久久久久影院老司 | 精品国产91一区二区三区 | 久久精品视频3 | 永久av在线免费观看 | 免费在线观看国产精品 | 久久成人在线观看 | 亚欧美一区二区 | 欧美人与牲禽动交精品一区 | 国产日产精品久久久久快鸭 | 午夜视频在线免费观看 | 国产jjizz一区二区三区视频 | 特级a欧美做爰片毛片 | 91精品国产综合久久男男 | 久久国产在线观看 | 中国老女人一级毛片视频 | 国产亚洲黑人性受xxxx精品 | 久久密| 把娇妻调教成暴露狂 | 久色视频网站 | 韩国一大片a毛片 | 久久国产秒 | 成人444kkkk在线观看 | 久久精品国产一区二区电影 | 国产精品99久久久久久宅女 | 免费视频99 | 91精品国产777在线观看 | av中文一区 |