hadoop是一款由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，主要是由HDFS和MapReduce組成。該軟件具有較高的擴(kuò)展性、高效性和高容錯(cuò)性，功能非常強(qiáng)大，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序,充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop 以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理，它的處理能力值得人們信賴(lài)，需要的可以試試看。

功能特點(diǎn)

　　HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。

　　HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

　　高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴(lài)。

　?、哺邤U(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。

　?、掣咝浴adoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？?。

　?、锤呷蒎e(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。

　　Hadoop帶有用 Java 語(yǔ)言編寫(xiě)的框架，因此運(yùn)行在 Linux 生產(chǎn)平臺(tái)上是非常理想的。Hadoop 上的應(yīng)用程序也可以使用其他語(yǔ)言編寫(xiě)，比如 C++。

環(huán)境搭建方法

　　安裝VMware-workstation10

　　VMware-workstation10的安裝非常簡(jiǎn)單，只需要根據(jù)提示一步步選擇“Next”即可，遇到回答“Yes”還是“No”的地方，選 擇“Yes”。在安裝過(guò)程中，會(huì)出現(xiàn)暫時(shí)的網(wǎng)絡(luò)中斷，不要驚慌，一會(huì)就會(huì)恢復(fù)。安裝完成后在網(wǎng)絡(luò)共享中心→更改適配器設(shè)置，會(huì)出現(xiàn)VMware- workstation10自動(dòng)建立的虛擬網(wǎng)絡(luò)如下圖2.1所示

　　圖1.1

　　vmnet0， 實(shí)際上就是一個(gè)虛擬的網(wǎng)橋（VMware已經(jīng)不顯示了，但仍然有此功能）

　　vmnet1， 這是一個(gè)Host-Only網(wǎng)絡(luò)模式（使用Host-Only連接方式必須啟用此網(wǎng)卡）

　　vmnet8， 這是一個(gè)NAT方式（使用NAT連接方式必須啟用此網(wǎng)卡）

　　1.2 用VMware打開(kāi)Centos鏡像

　　將Centos鏡像解壓開(kāi)以后，找到一下目錄如下圖2.2所示

　　圖1.2

　　雙擊方框內(nèi)的文件即可，不用安裝，里面的Centos已經(jīng)配置好，一共兩個(gè)用戶，一個(gè)是Hadoop普通賬戶，密碼為hadoop,一個(gè)是root用戶，密碼為hadoop。

　　1.3 宿主機(jī)（windows）與客戶機(jī)（安裝在虛擬機(jī)中的Linux）網(wǎng)絡(luò)連接

　　(1) host-only 宿主機(jī)與客戶機(jī)單獨(dú)組網(wǎng)。

　　好處：網(wǎng)絡(luò)隔離

　　壞處：虛擬機(jī)與其他服務(wù)器之間不能通信

　　(2) brige 客戶機(jī)與宿主機(jī)在同一個(gè)局域網(wǎng)中。

　　好處：都在同一個(gè)局域網(wǎng)可以相互訪問(wèn)

　　壞處：不安全

　　(3)NAT 略

　　1.4 設(shè)置網(wǎng)絡(luò)

　　大家可以根據(jù)自己的條件設(shè)置自己的網(wǎng)絡(luò)連接方式，由于使用的是內(nèi)網(wǎng)我的IP端有限制，所以我使用橋接的方式。設(shè)置方式如下：

　　圖 1.3

　　圖 1.4

　　圖 1.5

　　由于我使用的是橋接模式，虛擬機(jī)的VMnet1和VMnet8沒(méi)有用到所以我將其禁用了，但選擇Host-Only或NAT不能全部禁用，使用哪個(gè)就開(kāi)啟哪個(gè)。

　　(1)開(kāi)機(jī)

　　圖 1.6

　　在此處點(diǎn)擊我已經(jīng)移動(dòng)

　　圖 1.7

　　圖 1.8

　　開(kāi)啟之后，我們選擇Other，輸入root，密碼：hadoop進(jìn)入系統(tǒng)，如下圖

　　(2)配置靜態(tài)網(wǎng)絡(luò)

　　由于我使用的是橋接方式，所以Linux所設(shè)置的網(wǎng)段和我Host主機(jī)的網(wǎng)段在同一個(gè)網(wǎng)段中

　　圖 1.9

　　圖 1.10

　　圖 1.11

　　圖1.12 我電腦的IP為192.168.1.49，虛擬機(jī)的為192.168.1.50，兩者在同一網(wǎng)段中，選擇Manual靜態(tài)模式，最后點(diǎn)擊Apply

　　圖1.13 配置成功