Spring Hadoop是一款整合的工具包；它可以快速的進(jìn)行幫助用戶進(jìn)行創(chuàng)建您需要的Spring Hadoop、pig、Hive等，也可對HBase、HDF等進(jìn)行支持，還可滿足用戶在基于Hadoop的作業(yè)調(diào)度，這進(jìn)行使用或者操作這些數(shù)據(jù)的時候，無需進(jìn)行連接過多的Hadoop，即可快速的使用您需要的項目；軟件的使用還是比較的簡單，操作也相當(dāng)?shù)目旖?，靈活，需要的朋友趕快這河?xùn)|軟件園將spring hadoop (系統(tǒng)設(shè)計與實施)下載使用試試吧！

軟件功能

　　Spring Hadoop支持MapReduce、Streaming、Hive、Pig和級聯(lián)工作能夠通過Spring容器執(zhí)行。

　　HDFS的數(shù)據(jù)訪問能通過JVM支持的腳本語言，如Groovy，JRuby，Jython等等。

　　支持聲明式配置HBase

　　對于客戶端連接Hadoop，提供強(qiáng)大的Hadoop配置選項和模板機(jī)制

　　還計劃支持Hadoop工具，包括FsShell和DistCp等。

　　總之能把Hadoop各成員的配置，創(chuàng)建都和Spring的容器結(jié)合起來，得到統(tǒng)一的管理。

軟件特色

　　可以快速的進(jìn)行配置您的文件查看

　　支持根據(jù)自己的需求來快速的進(jìn)行搭建

　　還可對許多的功能進(jìn)行支持，包括了HDFS、HBase等功能的使用

　　也可快速的對HAdoop的技巧進(jìn)行快速的了解

　　可快速的進(jìn)行添加命名空間的功能，也支持將命名空間快速的添加到需要的項目

使用方法

　　搭建web日志采集系統(tǒng)

　　收集日志

　　支持三種操作模式。

　　作為嵌入代理的用法將導(dǎo)致消息直接傳遞給水槽通道，然后控件將立即返回應(yīng)用程序。所有與遠(yuǎn)程代理的交互都將異步發(fā)生。將“類型”屬性設(shè)置為“嵌入”將強(qiáng)制使用嵌入代理。此外，配置在appender配置劑的性能也會導(dǎo)致嵌入劑。

　　我們下面就簡單的用第一種方式

　　客戶端配置

　　log4j.xml

　　服務(wù)端配置

　　下載 flume, 在conf 目錄下，配置example.conf ：

　　啟動 flume

　　查看日志，是否成功。

　　Solr 配置

　　關(guān)于solr的介紹

　　這里 solr的數(shù)據(jù)也是需要存儲到 hdfs中的，另外solr 是通過zookeeper 來管理的

　　以下配置，這里用的cloudera manager 安裝，所以自動配好了，但是需要檢驗，如果是手動安裝也有對應(yīng)的文檔可以直接查看, 另外這里省略Solr Authentication。

　　配置 zookeeper service

　　配置 solr use hdfs

　　初始化管理員命名空間

　　啟動solr

　　配置OLR收藏

　　來組織邏輯數(shù)據(jù)SOLR通過集合，所以你需要創(chuàng)建collection，每個collection有自己的配置，文檔上已經(jīng)講的比較清楚了，而且也不多，這里不再贅述

　　生成的配置集

　　下面是的collection是用來存儲上面收集到的日志：

常見問題

　　異常信息：(以下異常解決所需jar版本是對應(yīng)hbase 和 hadoop的，異常出現(xiàn)并不準(zhǔn)確按照以下順序，是后期整理的結(jié)果)

　　1. Java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration

　　缺少hadoop-common-2.5.1.jar

　　2. java.lang.ClassNotFoundException: com.google.common.base.Preconditions

　　缺少guava-12.0.1.jar

　　3. java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf

　　缺少hadoop-mapreduce-client-core-2.5.1.jar

　　4. java.lang.ClassNotFoundException: com.google.protobuf.RpcChannel

　　缺少protobuf-java-2.5.0.jar

　　5. java.lang.ClassNotFoundException: org.apache.commons.configuration.Configuration

　　缺少commons-configuration-1.6.jar

　　6. java.lang.ClassNotFoundException: org.apache.hadoop.util.PlatformName

　　缺少hadoop-auth-2.5.1.jar

　　7. java.lang.ClassNotFoundException: org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$BlockingInterface

　　缺少hbase-protocol-1.2.1.jar

　　8. java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException

　　缺少zookeeper-3.4.6.jar

　　9. java.lang.ClassNotFoundException: org.apache.htrace.Trace

　　缺少htrace-core-3.1.0-incubating.jar

　　10. java.lang.ClassNotFoundException: io.netty.channel.EventLoopGroup

　　缺少netty-all-4.0.23.Final.jar

　　11. java.lang.VerifyError: class org.apache.hadoop.hbase.protobuf.generated.ClientProtos$Result overrides final method getUnknownFields. ()Lcom/google/protobuf/UnknownFieldSet;