世界熱點!Hadoop的溢寫

2023-01-09 10:25:41 來源:51CTO博客


(資料圖片僅供參考)

問題:

1,一臺服務器上,同時運行4個MapTask任務,即當前服務器會有4個溢寫緩沖區,即一個MapTask會開啟一個溢寫緩沖區

2,Spill過程不一定會發生,當此MapTask輸出的數量很小時,小于(默認100Mb*0.8)

3,Merge過程不一定會發生:a,Spill過程沒有發生;b,Spill過程發生了,但只生成了一個Spill文件,沒必要合成

4,溢寫緩沖區實際上是一個對象blockingBuffer。如果沒發生Spill,數據就存在blockBuffer里。當緩存失效的情況發生時,即當前的MapTask任務失效,即當此MapTask任務失效時,底層會重新在其他服務器上重新執行此MapTask

5,不能光憑MapTask接收的數據量來判斷生成Spill文件數,因為Spill文件數是由MapTask的輸出量決定的

標簽: 實際上是 服務器上 其他服務

上一篇:【熱聞】MySQL 常用腳本
下一篇:世界熱門:mysql數據庫系統?