本文闡述如何在Debian系統上配置hadoop的資源分配策略,主要關注yarn(Yet Another Resource Negotiator)的配置,因為YARN是Hadoop資源管理和調度的核心。
YARN資源管理器配置:
關鍵配置參數包括:
- yarn.nodemanager.resource.memory-mb:每個節點管理器可分配的物理內存總量(MB),默認8192MB(8GB)。
- yarn.nodemanager.vmem-pmem-ratio:虛擬內存與物理內存的使用比例,默認2.1。
- yarn.nodemanager.resource.cpu-vcore:每個節點管理器可分配的虛擬CPU核心數,默認8。 可根據CPU性能差異調整,將一個物理CPU核心劃分為多個虛擬核心。
Hadoop核心配置文件:
- core-site.xml:配置hdfs(Hadoop分布式文件系統)位置及其他屬性。
- hdfs-site.xml:配置HDFS數據副本數量、NameNode元數據存儲位置等。
- mapred-site.xml:配置mapreduce運行環境。
- yarn-site.xml:配置YARN資源管理器和調度器。
資源調度策略選擇:
Hadoop YARN提供多種資源調度器:
請注意,以上配置適用于Hadoop 2.x和3.x版本,具體配置需根據實際Hadoop版本、集群規模和資源情況進行調整和優化。 實際應用中,需要根據工作負載和集群資源情況選擇合適的調度器并微調參數。