Search
Close this search box.

Twitter 即將開源即時數據處理工具 Storm

 

開發者的好消息:Twitter剛剛在博客上宣布將在9月19日的Strange Loop大會上公佈Storm的代碼。這個類似於Hadoop的即時數據處理工具是BackType開發的,後來被Twitter收購用於Twitter。

Twitter列舉了Storm的三大類應用:

  • 信息流處理{Stream processing} : Storm可用來實時處理新數據和更新數據庫,兼具容錯性和可擴展性。
  • 連續計算{Continuous computation} : Storm可進行連續查詢並把結果即時反饋給客戶端。比如把Twitter上的熱門話題發送到瀏覽器中。
  • 分佈式遠程程序調用{Distributed RPC} : Storm可用來並行處理密集查詢。Storm的拓撲結構是一個等待調用信息的分佈函數,當它收到一條調用信息後,會對查詢進行計算,並返回查詢結果。

目前即時數據處理工具已經不少了,比如HStreaming(使用Hadoop),開源的S4StreamBase,人們還需要一個開源的Storm嗎?