hadoop任務執行流程主要包括以下幾個步驟：
-
提交作業：用戶在客戶端機器上使用hadoop提供的命令行工具或API，構建任務的執行環境并將任務提交到yarn（Hadoop的資源管理器）。
-
資源申請：YARN收到任務提交請求后，會根據任務所需資源（如內存、CPU等）向集群中的節點申請資源。
-
任務啟動：一旦資源分配完成，YARN會將任務的啟動命令發送給相應的節點。在節點上，NodeManager負責啟動任務容器，并且監控任務的執行狀態。
-
執行map任務：任務容器啟動后，其中的應用程序會加載任務所需的代碼和數據，并開始執行Map階段的計算。Map任務負責將輸入數據轉換為中間鍵值對。
-
執行reduce任務：Map任務完成后，Reduce任務開始執行。Reduce任務負責將Map任務的輸出進行合并和聚合，生成最終結果。
-
輸出結果：Reduce任務完成后，任務的結果會被寫入指定的輸出路徑中，供后續使用和分析。
-
后續處理：任務執行完成后，需要進行一些后續處理工作，如輸出數據檢查、資源釋放、日志和監控等，以確保任務的完整性和數據的可用性。
