如何去掉mapreduce自动添加的分隔符
答案:2 悬赏:0
解决时间 2021-02-02 15:15
- 提问者网友:房东的猫
- 2021-02-02 05:56
如何去掉mapreduce自动添加的分隔符
最佳答案
- 二级知识专家网友:萝莉姐姐鹿小北
- 2021-02-02 07:25
mapred.textoutputformat.separator这个参数决定TextOutputFormat输出文件的key/value分隔符,默认是'\t',通过在提交job时手动设置该属性值可以修改
全部回答
- 1楼网友:糜废丧逼
- 2021-02-02 07:57
版权声明:本文为博主原创文章,未经博主允许不得转载。
背景:我在用mahout做一个推荐系统,recommenderjob要求的数据格式是:userid,itemid,preference。但是我在调用mahout来做推荐之前写有mapreduce数据处理操作,mapreduce输出的格式中有tab分隔符,本来我想把最终结果只放到key或value用nullwritable来实现,可是感觉不好使,所以只能换以下的方式来实现。
[java] view plain copy print?
conf.set("mapred.textoutputformat.ignoreseparator", "true");
conf.set("mapred.textoutputformat.separator", ",");
由于公司的代码不能随便透露,所以我只能以wordcount为例了
[java] view plain copy print?
package com.panguoyuan.mapreduce;
import java.io.ioexception;
import java.util.stringtokenizer;
import org.apache.hadoop.conf.configuration;
import org.apache.hadoop.fs.path;
import org.apache.hadoop.io.intwritable;
我要举报
如以上问答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
推荐资讯