一、有界流和無界流
- ①有界流:定義了流的開始,也定義了流的結束。
- ②無界流:定義了流的開始,但沒定義流的結束。
二、有狀態計算
- ①有狀態計算:基于多個事件輸出結果。
- ②無狀態計算:觀察每個獨立事件,并根據最后一個事件輸出結果。
三、Flink特點
- ①高吞吐、低延遲、高性能:阿里巴巴每秒30萬訂單。
- ②支持事件時間概念。
- ③支持有狀態的計算。
- ④支持高度靈活的窗口操作。
- ⑤基于輕量級分布式快照實現容錯。
- ⑥基于JVM獨立的內存管理。
- ⑦保存點
其他框架:SparkStreaming、Trident、Storm。
- Flink簡介
- flink搭建standalone模式與測試
- flink提交任務(界面方式)
- Flink項目初始化
- Java版WordCount(匿名類)
- Java版WordCount(lambda)
- Scala版WordCount
- Java版WordCount[批處理]
- Scala版WordCount[批處理]
- 流處理非并行的Source
- 流處理可并行的Source
- kafka的Source
- Flink算子(Map,FlatMap,Filter)
- Flink算子KeyBy
- Flink算子Reduce和Max與Min
- addSink自定義Sink
- startNewChain和disableChaining
- 資源槽slotSharingGroup
- 計數窗口
- 滾動窗口
- 滑動窗口
- Session窗口
- 按照EventTime作為標準