一，實(shí)時(shí)分析概念

(資料圖)

1，離線分析

通常是需要一段時(shí)間的數(shù)據(jù)積累，到一定數(shù)量的數(shù)據(jù)后，開(kāi)始離線分析，無(wú)論數(shù)據(jù)量多大，離線分析有開(kāi)始，也有結(jié)束，最終得到一個(gè)處理的結(jié)果，這樣的分析過(guò)程，得到的結(jié)果是有較大的延遲的。

2，實(shí)時(shí)分析

通常數(shù)據(jù)不停的到來(lái)，隨著數(shù)據(jù)的到來(lái)，來(lái)進(jìn)行增量的運(yùn)算，立即得到新數(shù)據(jù)的處理結(jié)果，并沒(méi)有一個(gè)數(shù)據(jù)積累的過(guò)程，有開(kāi)始，但沒(méi)有明確的結(jié)束時(shí)刻，數(shù)據(jù)實(shí)時(shí)的進(jìn)行運(yùn)算，基本沒(méi)有延遲。

二，Strore概述

Storm是一個(gè)開(kāi)源的分布式實(shí)時(shí)計(jì)算系統(tǒng)，可以簡(jiǎn)單、可靠的處理大量的數(shù)據(jù)流。

Storm有很多使用場(chǎng)景：如實(shí)時(shí)分析，在線機(jī)器學(xué)習(xí)，持續(xù)計(jì)算，分布式RPC，ETL等等。

Storm支持水平擴(kuò)展，具有高容錯(cuò)性，保證每個(gè)消息都會(huì)得到處理，而且處理速度很快。

Storm性能優(yōu)良，處理速度很快(在一個(gè)小集群中，每個(gè)結(jié)點(diǎn)每秒可以處理數(shù)以百萬(wàn)計(jì)的消息)。

Storm的部署和運(yùn)維都很便捷，而且更為重要的是可以使用任意編程語(yǔ)言來(lái)開(kāi)發(fā)應(yīng)用。

三，Storm組件

Storm將實(shí)時(shí)運(yùn)算的過(guò)程，拆分為若干簡(jiǎn)單的步驟，再組裝在一起完成復(fù)雜計(jì)算任務(wù)，由這些簡(jiǎn)單步驟組裝起來(lái)的運(yùn)算過(guò)程，稱之為一個(gè)Topology（拓?fù)洌?/p>

Topology由Spout（噴嘴）和Bolt（閥門）組成，Spout負(fù)責(zé)連接外部數(shù)據(jù)源，整個(gè)topology中以Strea（數(shù)據(jù)流）方式傳遞數(shù)據(jù)，Stream數(shù)據(jù)流中傳遞的是一個(gè)個(gè)的tuple(元組)。