400-650-7353

精品課程

MapReduce編程原理 MapReduce編程原理是什么？

發(fā)布： 大數(shù)據(jù)培訓(xùn) 發(fā)布時(shí)間：2021-08-06 14:30:46

推薦答案
品牌型號(hào)：聯(lián)想 YOGA 14c/系統(tǒng)版本：windows7

MapReduce是采用一種分而治之的思想設(shè)計(jì)出來(lái)的分布式計(jì)算框架，主要被應(yīng)用于搜索領(lǐng)域，解決海量數(shù)據(jù)的計(jì)算問(wèn)題。MapReduce由兩個(gè)階段組成：Map和Reduce，用戶只需要實(shí)現(xiàn)map()和reduce()兩個(gè)函數(shù)，即可實(shí)現(xiàn)分布式計(jì)算。

1、Map階段

map task的map()函數(shù)以key-value對(duì)作為輸入，產(chǎn)生一系列kv對(duì)作為中間輸出寫(xiě)入本地磁盤(pán)。

2、Reduce階段

reduce()函數(shù)通過(guò)網(wǎng)絡(luò)將map的輸出(kv對(duì))作為輸入，產(chǎn)生另一系列kv對(duì)作為最終輸出寫(xiě)入到hdfs，這時(shí)的key-value對(duì)是計(jì)算結(jié)果。

MapReduce的優(yōu)點(diǎn)：

1)易于編程

MapReduce只需簡(jiǎn)單地實(shí)現(xiàn)一些接口,就可以完成一個(gè)分布式程序,這個(gè)分布式程序可以分布到大量廉價(jià)的PC機(jī)上運(yùn)行。

2)良好的可擴(kuò)展性

當(dāng)計(jì)算機(jī)資源得不到滿足的時(shí)候,可以通過(guò)簡(jiǎn)單的增加機(jī)器來(lái)擴(kuò)展它的計(jì)算能力。

3)高容錯(cuò)性

比如一臺(tái)機(jī)器掛了,可以把它上面的計(jì)算任務(wù)轉(zhuǎn)移到另一個(gè)節(jié)點(diǎn)上運(yùn)行,不至于整個(gè)任務(wù)運(yùn)行失敗,而且這個(gè)過(guò)程不需要人工干預(yù),完全由hadoop內(nèi)部完成。

4)高吞吐量

能對(duì)PB量級(jí)以上海量數(shù)據(jù)進(jìn)行離線處理，適合離線處理而不適合實(shí)時(shí)處理。
 

其它答案
冰闊落2020-06-22 18:56:36

MapReduce執(zhí)行步驟：

1、map任務(wù)處理

(a)讀取輸入文件內(nèi)容，解析成key、value對(duì)。對(duì)輸入文件的每一行，解析成key、value對(duì)。每一個(gè)鍵值對(duì)調(diào)用一次map函數(shù)。

(b)寫(xiě)自己的邏輯，對(duì)輸入的key、value處理，轉(zhuǎn)換成新的key、value輸出。

2、reduce任務(wù)處理

(a)在reduce之前，有一個(gè)shuffle的過(guò)程對(duì)多個(gè)map任務(wù)的輸出進(jìn)行合并、排序。

(b)寫(xiě)reduce函數(shù)自己的邏輯，對(duì)輸入的key、value處理，轉(zhuǎn)換成新的key、value輸出。

(c)把reduce的輸出保存到文件中。

上一篇：dns服務(wù)器地址

下一篇：dns查詢方式

中公旗下IT培訓(xùn)品牌

  • 中公教育品牌

    　中公教育是一家中國(guó)領(lǐng)先的全品類職業(yè)教育機(jī)構(gòu)，提供超過(guò)100個(gè)品類的綜合職業(yè)就業(yè)培訓(xùn)服務(wù)。公司在全國(guó)超過(guò)1000個(gè)直營(yíng)網(wǎng)點(diǎn)展開(kāi)經(jīng)營(yíng)，深度覆蓋300多個(gè)地級(jí)市，并正在快速向數(shù)千個(gè)縣城和高校擴(kuò)張。

  • 完善就業(yè)體系

    通過(guò)階段性授課機(jī)制，和每階段的定期考核，先讓學(xué)員能夠?qū)W會(huì)所學(xué)內(nèi)容，才能找打合適工作。最后一個(gè)階段為就業(yè)課程，從技術(shù)和面試兩個(gè)方面加深就業(yè)能力，并且還有不定期的雙選會(huì)供大家選擇。

  • 全程面授+實(shí)戰(zhàn)技術(shù)

    線下課程全程是師資面對(duì)面教學(xué)，不會(huì)存在上課只對(duì)著大屏幕上課的情況，有問(wèn)題都可以在課上得到解答。并且優(yōu)就業(yè)通過(guò)自主研發(fā)大綱和學(xué)習(xí)路線，并且定期更新課程所學(xué)技術(shù)，讓大家所學(xué)技術(shù)不落伍。

中公優(yōu)就業(yè)專業(yè)職業(yè)規(guī)劃老師

為您詳細(xì)答疑解惑，更能領(lǐng)取免費(fèi)課程

相關(guān)問(wèn)題

更多課程

專業(yè)課程老師將第一時(shí)間為您解答

立即答疑
修改
優(yōu)就業(yè)：ujiuye

關(guān)注中公優(yōu)就業(yè)官方微信

  • 關(guān)注微信回復(fù)關(guān)鍵詞“大禮包”，領(lǐng)80G學(xué)習(xí)資料