麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 網管 > 服務器 > 正文

Hadoop控制輸出文件命名

2020-05-27 13:43:39
字體:
來源:轉載
供稿:網友

   在一般情況下,Hadoop 每一個 Reducer 產生一個輸出文件,文件以

  part-r-00000、part-r-00001 的方式進行命名。如果需要人為的控制輸出文件的命

  名或者每一個 Reducer 需要寫出多個輸出文件時,可以采用 MultipleOutputs 類來

  完成。MultipleOutputs 采用輸出記錄的鍵值對(output Key 和 output Value)或者

  任意字符串來生成輸出文件的名字,文件一般以 name-r-nnnnn 的格式進行命名,

  其中 name 是程序設置的任意名字;nnnnn 表示分區號。

  MultipleOutputs 的使用方式 的使用方式: :: :

  想要使用 MultipeOutputs,需要完成以下四個步驟:

  1. 在 Reducer 中聲明 MultipleOutputs 的變量

  private MultipleOutputs

  2. 在 Reducer 的 setup 函數中進行 MultipleOutputs 的初始化

  protected void setup(Context context)throws IOException, InterruptedException {

  multipleOutputs = new MultipleOutputs

  }

  3. 在 reduce 函數中進行輸出控制

  protected void reduce(Text key, Iterable values, Context context)throws IOException,

  InterruptedException {

  for (Text value : values) {

  multipleOutputs.write(NullWritable.get(), value, key.toString());

  }

  }

  4. 在 cleanup 函數中關閉輸出 MultipleOutputs

  protected void cleanup(Context context)throws IOException, InterruptedException {

  multipleOutputs.close();

  }

  注意:multipleOutputs.write(key, value, baseOutputPath)方法的第三個函數表明了該輸出所在的目錄(相對于用戶指定的輸出目錄)。如果baseOutputPath不包含文件分隔符“/”,那么輸出的文件格式為baseOutputPath-r-nnnnn(name-r-nnnnn);如果包含文件分隔符“/”,例如baseOutputPath=“029070-99999/1901/part”,那么輸出文件則為

Hadoop控制輸出文件命名 武林網
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 免费看黄色一级片 | 亚洲第一激情 | 精品无吗乱吗av国产爱色 | 免费午夜视频 | 黄色毛片视频在线观看 | 精品国产高清一区二区三区 | 久久伊人精品热在75 | 欧美日韩中文字幕在线视频 | 成人小视频在线播放 | 一级黄色毛片免费 | 免费一级在线观看 | v11av在线视频成人 | 久久99国产精品免费网站 | 成年人网站国产 | 欧美一级做性受免费大片免费 | 日本在线播放一区二区 | 欧美老外a级毛片 | 国产羞羞视频免费在线观看 | 美女久久 | 91精品国产91久久久 | 国产毛片自拍 | 欧美a视频在线观看 | 九九精品在线观看 | 日本网站在线播放 | 久久精品79国产精品 | 欧美成人免费tv在线播放 | 色婷婷av一区二区三区久久 | 国产人成免费爽爽爽视频 | 成年人视频免费看 | 成人一级视频在线观看 | 香蕉成人在线观看 | 国产一级毛片视频在线! | 国产免费观看一区二区三区 | 91美女视频在线观看 | 欧美精品一区二区视频 | 精品久久999 | 国产精品久久在线观看 | 久久毛片免费 | 天天透天天狠天天爱综合97 | 亚洲精品 欧美 | 精品无吗乱吗av国产爱色 |