Apache Flink是一款流處理框架，當您在設置流程的時候可以將這款軟件部署到你的開發(fā)環(huán)境中使用，讓您可以更好設置流程模塊，提供流和批處理分析、數據管道和ETL、復雜的后期數據處理、SQL對流和批處理數據等多種功能，您可以將其靈活的部署到自己的軟件中，也可以部署到任何擴展架構使用；Apache Flink可以集成到多款軟件上開發(fā)，讓您的軟件具有流處理功能，新增對 state TTL 的原生支持，需要的朋友趕快下載吧！

軟件功能

　　*流優(yōu)先運行時，支持批處理和數據流程序

　　*優(yōu)雅流暢的Java和Scala api

　　*同時支持高吞吐量和低事件延遲的運行時

　　*基于*Dataflow模型

　　*支持DataStream API中的事件時間和無序*處理

　　*靈活的窗口(時間，計數，會話，自定義觸發(fā)器)跨越不同的時間語義(事件時間，處理時間)

　　*精確一次處理保證*容錯

　　*流媒體節(jié)目的自然背壓

　　*用于圖形處理(批處理)、機器學習(批處理)和復雜事件處理(流)的庫

　　*數據集(批處理)API中對迭代程序(BSP)的內置支持

　　*自定義內存管理，用于在內存中和非核心數據處理算法之間進行高效和健壯的切換

　　* Apache Hadoop MapReduce和Apache Storm的兼容性層

　　*與YARN、HDFS、HBase和Apache Hadoop生態(tài)系統(tǒng)的其他組件集成

軟件特色

　　一致的檢查點:Flink的恢復機制基于應用程序狀態(tài)的一致檢查點。如果出現故障，應用程序將重新啟動，并從最新的檢查點加載其狀態(tài)。與可重新設置的流源相結合，這個特性可以保證一次完全的狀態(tài)一致性。

　　有效的檢查點:如果應用程序保持tb級的狀態(tài)，那么檢查點應用程序的狀態(tài)可能非常昂貴。Flink可以執(zhí)行異步和增量檢查點，以保持檢查點對應用程序的延遲sla的影響非常小。

　　端到端精確地一次:Flink為特定存儲系統(tǒng)提供了事務接收器，可以保證數據只寫一次，即使在出現故障的情況下也是如此。

　　與集群管理器集成:Flink與集群管理器緊密集成，例如Hadoop YARN、Mesos或Kubernetes。當流程失敗時，將自動啟動一個新流程來接管其工作。

　　高可用性設置:Flink具有高可用性模式，可以消除所有單點故障。ha模式基于Apache ZooKeeper，這是一種經過實戰(zhàn)驗證的可靠分布式協(xié)調服務

安裝方法

　　通過定期將檢查點寫入遠程持久存儲，可以實現容錯。下圖描述了傳統(tǒng)應用程序架構和事件驅動應用程序之間的差異。

　　下載并啟動Flink

　　Flink可在Linux，Mac OS X和Windows上運行。為了能夠運行Flink，唯一的要求是安裝一個有效的Java 8.x. Windows用戶。

　　您可以通過發(fā)出以下命令來檢查Java的正確安裝：

　　java -version

　　如果你有Java 8，輸出將如下所示：

　　java version "1.8.0_111"

　　Java(TM) SE Runtime Environment (build 1.8.0_111-b14)

　　Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

　　下載并解壓縮

　　1、從下載頁面下載二進制文件。您可以選擇任何您喜歡的Hadoop / Scala組合。如果您打算只使用本地文件系統(tǒng)，任何Hadoop版本都可以正常工作。

　　2、轉到下載目錄。

　　3、解壓縮下載的存檔。

　　$ cd ~/Downloads # Go to download directory

　　$ tar xzf flink-*.tgz # Unpack the downloaded archive

　　$ cd flink-1.6.0

　　啟動本地Flink群集

　　$ ./bin/start-cluster.sh # Start Flink

　　Apache Flink支持流和批分析應用程序，如下圖所示。

使用說明

　　*注:Maven 3.3。x可以構建Flink，但不能正確地消除某些依賴。Maven 3.0.3正確地創(chuàng)建了庫。

　　要使用Java 8構建單元測試，請使用Java 8u51或更高版本，以防止在使用PowerMock runner.*的單元測試中出現故障

　　下圖描述了周期性ETL作業(yè)和連續(xù)數據管道之間的差異。

　　#發(fā)展Flink

　　Flink提交者使用IntelliJ思想來開發(fā)Flink代碼基。

　　我們推薦IntelliJ IDEA用于開發(fā)包含Scala代碼的項目。

　　IDE的最低要求是:

　　支持Java和Scala(也是混合項目)

　　使用Java和Scala支持Maven

　　分層的api

　　Flink提供了三個分層的api。每種API都在簡潔和表達之間提供了不同的權衡，并針對不同的用例。

　　IntelliJ IDEA

　　IntelliJ IDE支持開箱即用的Maven，并為Scala開發(fā)提供了一個插件。

　　* IntelliJ下載:[https://www.jetbrains.com/idea/](https://www.jetbrains.com/idea/)

　　* IntelliJ Scala插件:[http://plugins.jetbrains.com/plugin/?id=1347](http://plugins.jetbrains.com/plugin/?id=1347)

　　Flink通過定期和異步檢查本地狀態(tài)到持久存儲，保證了在發(fā)生故障時的精確一次狀態(tài)一致性。

　　由于有界數據集總是可以排序的，所以處理有界流不需要有序的攝取。有界流的處理也稱為批處理。

更新日志

　　新增對 state TTL 的原生支持。此功能允許在 state 到期后進行清理；

　　繼續(xù)完善 1.5.0 重構的 Flink 分布式架構，并簡化容器設置；

　　進一步改進 SQL CLI，使得針對大量數據源執(zhí)行流式處理和批處理查詢更容易；

　　新增 StreamingFileSink ，以及對 ElasticSearch 6.x 的支持；

　　優(yōu)化 Timer Deletions 。