如何在java代码中运行mapreduce作业？

答案:2 悬赏:0

解决时间 2021-02-21 00:37

提问者网友：霸道又专情♚
2021-02-20 01:57

书上讲的都是用命令行提交作业，难道不能在代码里提交吗？

最佳答案

二级知识专家网友：有钳、任性
2021-02-20 02:35

书上讲的是执行的意思，也可以在IDE里执行

全部回答

1楼网友：而你却相形见绌
2021-02-20 02:55

mapreduce.map.java.opts 是什么参数首先介绍一下wordcount 早mapreduce框架中的对应关系大家都知道 mapreduce 分为 map 和reduce 两个部分，那么在wordcount例子中，很显然对文件word 计数部分为map，对 word 数量累计部分为 reduce；大家都明白 map接受一个参数，经过map处理后，将处理结果作为reduce的入参分发给reduce，然后在reduce中统计了word 的数量，最终输出到输出结果；但是初看遇到的问题：一、map的输入参数是个 text之类的对象，并不是 file对象二、reduce中并没有if-else之类的判断语句，来说明这个word 数量加一次，那个word 加一次。那么这个判断到底只是在 map中已经区分了还是在reduce的时候才判断的三、map过程到底做了什么，reduce过程到底做了什么？为什么它能够做到多个map多个reduce

我要举报

如以上问答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！