[TOC] # ack是什么 通過Ack機制，spout發送出去的每一條消息，都可以確定是被成功處理或失敗處理， 從而可以讓開發者采取動作。比如在Meta中，成功被處理，即可更新偏移量，當失敗時，重復發送數據。 因此，通過Ack機制，很容易做到保證所有數據均被處理，一條都不漏。 **另外需要注意的，當spout觸發fail動作時，不會自動重發失敗的tuple，需要spout自己重新獲取數據，手動重新再發送一次** ack機制即， spout發送的每一條消息， * 在規定的時間內，spout收到Acker的ack響應，即認為該tuple 被后續bolt成功處理 * 在規定的時間內，沒有收到Acker的ack響應tuple，就觸發fail動作，即認為該tuple處理失敗， * 或者收到Acker發送的fail響應tuple，也認為失敗，觸發fail動作 **另外Ack機制還常用于限流作用： 為了避免spout發送數據太快，而bolt處理太慢，常常設置pending數，當spout有等于或超過pending數的tuple沒有收到ack或fail響應時，跳過執行nextTuple， 從而限制spout發送數據。** 通過`conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, pending);`設置spout pend數。 # 如何使用Ack機制 spout 在發送數據的時候帶上msgid 設置acker數至少大于0；`Config.setNumAckers(conf, ackerParal);` 在bolt中完成處理tuple時，執行`OutputCollector.ack(tuple)`, 當失敗處理時，執行`OutputCollector.fail(tuple)`; 推薦使用IBasicBolt， 因為IBasicBolt 自動封裝了`OutputCollector.ack(tuple)`, 處理失敗時，請拋出FailedException，則自動執行`OutputCollector.fail(tuple)` # 如何關閉Ack機制 有2種途徑 spout發送數據是不帶上msgid 設置acker數等于0 # 基本實現 Storm 系統中有一組叫做"acker"的特殊的任務，它們負責跟蹤DAG（有向無環圖）中的每個消息。 acker任務保存了spout id到一對值的映射。第一個值就是spout的任務id，通過這個id，acker就知道消息處理完成時該通知哪個spout任務。第二個值是一個64bit的數字，我們稱之為"ack val"， 它是樹中所有消息的隨機id的異或計算結果。 ~~~ <TaskId,<RootId,ackValue>> Spoutid,<系統生成的id,ackValue> Task-0,64bit,0 ~~~ ack val表示了整棵樹的的狀態，無論這棵樹多大，只需要這個固定大小的數字就可以跟蹤整棵樹。當消息被創建和被應答的時候都會有相同的消息id發送過來做異或。?每當acker發現一棵樹的ack val值為0的時候，它就知道這棵樹已經被完全處理了    # 分析 storm的消息容錯機制 數據在處理中出現異常時,需要保證消息被完整處理 Spout ---A---B---C---D 期望:當中一個環節出現異常時,Spout能夠重新發送一份數據 問題: Spout如何知道一條消息的處理狀態 ~~~ 成功:ack(Object msgid) 失敗:fail(Object msgid) ~~~ Bolt如何告知Spout消息處理的狀態 ~~~ collector.emit(new Value()) collector.ack() //當消息處理成功時 collector.fail() //當消息處理失敗時 ~~~ # ACK機制 spout發送一條數據出去,需要知道數據處理成功和失敗的狀態,如果失敗進行消息的重新發送 1. 自定義spout實現BaseRichSpout,覆寫ack,fail方法 2. 自定義的spout發送數據的時候,需要指定messageId,messageId是一個object.如果messageId為null,Storm不會跟蹤元組,也不會收到回調. 3. 當消息處理成功或失敗之后,storm框架會將messageId傳回來.如果消息要重發,直接通過messageId找到或直接轉化成數據內容進行重發 4. 自定義Bolt實現BaseRichBolt 5. 在Bolt的execute中進行兩個操作 5.1 發送數據的時候,需要指定血緣關系,錨點 `collector.emit(父tuple, new 子Tuple);` 5.2 當execute處理完業務邏輯的時候,需要告訴storm框架當前階段的處理狀態 `collector.ack(tuple);` 如果在編寫storm程序,在bolt環節忘了手動ack或者fail,怎么辦? storm會等待反饋,達到超時閾值之后,就直接給fail. 如果在編寫storm程序時,在bolt環節忘了標識錨點,怎么辦? 忘了標識錨點,及時完了標識血緣關系.storm會認為你不關系后面階段的處理狀況 Storm BaseRichBolt API過于繁瑣,就開了另外一個api:BaseBasicBolt 如果實現了BaseBasicBolt就不需要錨點,不需要手動ack或fail