如何用Spark來實現已有的MapReduce程式

時間 2021-09-01 20:56:09

1樓:育知同創教育

在spark中,reducebykey可以被用來統計每個單詞的總數。比如出於某種原因要求輸出檔案中每個單詞都要顯示為大寫字母和其數量,在mapreduce中,實現如下:

public class countuppercasereducer extends

reducer

context

.write(new text(word.tostring().touppercase()), new intwritable(sum));}}

但是redecebykey不能單獨在spark中工作,因為他保留了原來的key。為了在spark中模擬,需要一些更像reducer api的操作。大家知道reducer的reduce方法接受一個key和一組值,然後完成一組轉換。

groupbykey和一個連續的map操作能夠達到這樣的目標:

groupbykey().map

groupbykey只是將某一個key的所有值收集在一起,並且不提供reduce功能。以此為基礎,任何轉換都可以作用在key和一系列值上。此處,將key轉變為大寫字母,將values直接求和。

2樓:

c源程式:

#include "stdio.h"

void main()}

如何用已有的房產做抵押貸款買房

望京小智 如何用房屋做貸款 3 李建成律師 和銀行協商,到不動產登記機構辦理了抵押登記手續,和銀行簽訂借款合同即可。中華人民共和國合同法 第三條 合同當事人的法律地位平等,一方不得將自己的意志強加給另一方。第四條 當事人依法享有自願訂立合同的權利,任何單位和個人不得非法干預。第五條 當事人應當遵循公...

如何用EXCEL的VBA來實現根據條件篩選結果

陸不大 這個問題我也沒做過,臨時找了兩個函式,結合起來能解決,也許不是最好的辦法,但能解決總是好的,呵呵 做出的樣表如下 a b c d 1 姓名 班級 班級 班級 2 1222 2323 3434 3 姓名 班級 數學成績 語文成績 4 張三 1222 78 85 5 李四 2323 79 83 ...

如何用DAC0832來實現數模轉換時在輸出端上得到0到5V的電壓

沒心沒肺 快用adc 0832來證實來實現數模轉換時的輸出端上得到的一個零道,這個問題你可以去問一下有關知道的人員,或者在網上查詢一下 如何用第10832來實現數模轉換?是在輸出端上的到一個領導五負的電壓 雪白的淡水魚 如何用dac0832來實現數模轉換時在輸出端上得到一個0到5v的電壓?各個環節都...