這篇文章主要介紹了MongoDB學習筆記之MapReduce使用示例,本文直接給出實例代碼,需要的朋友可以參考下
一、mapreduce是根據(jù)map函數(shù)里調(diào)用的emit函數(shù)的第一個參數(shù)來進行分組的
Map-Reduce是一種計算模型,簡單的說就是將大批量的工作(數(shù)據(jù))分解(MAP)執(zhí)行,然后再將結果合并成最終結果(REDUCE)。
使用 MapReduce 要實現(xiàn)兩個函數(shù) Map 函數(shù)和 Reduce 函數(shù), Map 函數(shù)調(diào)用 emit(key, value), 遍歷 collection 中所有的記錄, 將key 與 value 傳遞給 Reduce 函數(shù)進行處理。Map 函數(shù)必須調(diào)用 emit(key, value) 返回鍵值對。
參數(shù)說明:
1. map :映射函數(shù) (生成鍵值對序列,作為 reduce 函數(shù)參數(shù))。
2. reduce 統(tǒng)計函數(shù),reduce函數(shù)的任務就是將key- values變成key-value,也就是把values數(shù)組變成一個單一的值value。
3. out 統(tǒng)計結果存放集合 (不指定則使用臨時集合,在客戶端斷開后自動刪除)。
4. query 一個篩選條件,只有滿足條件的文檔才會調(diào)用map函數(shù)。(query。limit,sort可以隨意組合)
5. sort 和limit結合的sort排序參數(shù)(也是在發(fā)往map函數(shù)前給文檔排序),可以優(yōu)化分組機制
6. limit 發(fā)往map函數(shù)的文檔數(shù)量的上限(要是沒有l(wèi)imit,單獨使用sort的用處不大)
- //測試數(shù)據(jù)準備
- db.user.drop();
- for(var i=10; i< 100; i++) {
- db.user.insert({
- name:"user" + i,
- age : Math.floor(Math.random()*10)+ 20,
- sex : Math.floor(Math.random()*3)%2 ==0 ? 'M' : 'F',
- chinese : Math.floor(Math.random()*50)+50,
- math : Math.floor(Math.random()*50)+50,
- english : Math.floor(Math.random()*50)+50,
- class : "C" + i%5
- })
- }
- // runCommand運行方式
- db.sales.runCommand({
- mapreduce: "user",
- map: function(){
- if(this.class == "C1") {
- emit(this.age, this.age);
- }
- },
- reduce: function(key,values){
- var maxValue = Max(key, values);
- return maxValue;
- },
- {
- out: {inline: 1},
- query : "",
- sort: "",
- limit: "",
- }
- })
- db.user.mapReduce(
- // 映射函數(shù),里面會調(diào)用emit(key,value),集合會按照你指定的key進行映射分組。
- function(){
- // 按照emit函數(shù)的第一個參數(shù)進行分組
- // 第二個參數(shù)的值會傳遞給reduce
- emit(this.age, this);
- },
- // 簡化函數(shù),會對map分組后的數(shù)據(jù)進行分組簡化
- // 在reduce(key,value)中的key就是emit中的key, vlaues為emit分組后的emit(value)的集合
- function(key, values){
- var maxValue = Math.max(key, values);
- return maxValue;
- },
- // 可選參數(shù)
- {
- query: {sex: "F"},
- out: "result",
- sort : {},
- limit : 0
- }
- )
執(zhí)行結果:
- {
- "result" : "result", // 存放的集合名
- "timeMillis" : 23,
- "counts" : {
- "input" : 29, // 傳入文檔的個數(shù)
- "emit" : 29, // 此函數(shù)被調(diào)用的次數(shù)
- "reduce" : 6, // 此函數(shù)被調(diào)用的次數(shù)
- "output" : 8 // 最后返回文檔的個數(shù)
- },
- "ok" : 1
- }
查看返回的結果:
- db.result.find()
|
新聞熱點
疑難解答