hadoop是什么？
Hadoop是使用Java編寫，允許分布在集群，使用簡單的編程模型的計算機(jī)大型數(shù)據(jù)集處理的Apache的開源框架。 Hadoop框架應(yīng)用工程提供跨計算機(jī)集群的分布式存儲和計算的環(huán)境。 Hadoop是專為從單一服務(wù)器到上千臺機(jī)器擴(kuò)展，每個機(jī)器都可以提供本地計算和存儲。
Hadoop的架構(gòu)
在其核心，Hadoop主要有兩個層次，即_
MapReduce
MapReduce是一種并行編程模型，用于編寫普通硬件的設(shè)計，谷歌對大量數(shù)據(jù)的高效處理(多TB數(shù)據(jù)集)的分布式應(yīng)用在大型集群(數(shù)千個節(jié)點(diǎn))以及可靠的容錯方式。 MapReduce程序可在Apache的開源框架Hadoop上運(yùn)行。
Hadoop分布式文件系統(tǒng)
Hadoop分布式文件系統(tǒng)（HDFS）是基于谷歌文件系統(tǒng)（GFS），并提供了一個設(shè)計在普通硬件上運(yùn)行的分布式文件系統(tǒng)。她與現(xiàn)有的分布式文件系統(tǒng)有許多相似之處。來自其他分布式文件系統(tǒng)的差別是顯著。她高度容錯并設(shè)計成部署在低成本的硬件。提供了高吞吐量的應(yīng)用數(shù)據(jù)訪問，并且適用于具有大數(shù)據(jù)集的應(yīng)用程序。
除了上面提到的兩個核心組件，Hadoop的框架還包括以下兩個模塊_
Hadoop如何工作？
建立重配置，處理大規(guī)模處理服務(wù)器這是相當(dāng)昂貴的，但是作為替代，可以聯(lián)系許多普通電腦采用單CPU在一起，作為一個單一功能的分布式系統(tǒng)，實(shí)際上，集群機(jī)可以平行讀取數(shù)據(jù)集，并提供一個高得多的吞吐量。此外，這樣便宜不到一個高端服務(wù)器價格。因此使用Hadoop跨越集群和低成本的機(jī)器上運(yùn)行是一個不錯的選擇。
Hadoop運(yùn)行整個計算機(jī)集群代碼。這個過程包括以下核心任務(wù)由 Hadoop 執(zhí)行_
數(shù)據(jù)最初分為目錄和文件。文件分為128M和64M（128M最好）統(tǒng)一大小塊。
Hadoop的優(yōu)勢
Hadoop框架允許用戶快速地編寫和測試的分布式系統(tǒng)。有效并在整個機(jī)器和反過來自動分配數(shù)據(jù)和工作，利用CPU內(nèi)核的基本平行度。
