在centos系統上高效搭建hadoop分布式文件系統(hdfs)需要多個步驟，包括環境準備、hadoop安裝配置、安全設置、namenode格式化以及啟動hdfs服務等。以下步驟提供詳細指南：

一、環境準備

1. 服務器準備: 至少準備三臺centos服務器，分別作為NameNode、DataNode1和DataNode2等。
2. 網絡配置: 確保所有服務器位于同一網絡，并配置靜態IP地址。修改/etc/hosts文件，使主機名與IP地址正確映射。
3. ssh配置: 設置SSH免密登錄，實現節點間無密碼訪問。

二、Java環境安裝

在所有節點上安裝Java Development Kit (JDK)，并正確配置Java_HOME環境變量。

三、hadoop下載與解壓

從apache Hadoop官網下載最新版Hadoop安裝包，并解壓至指定目錄。

四、Hadoop環境變量配置

編輯/etc/profile文件，添加Hadoop安裝路徑和JAVA_HOME路徑。執行source /etc/profile使環境變量生效。

五、hdfs配置

修改以下Hadoop配置文件：

• core-site.xml: 配置HDFS默認URI。
• hdfs-site.xml: 配置HDFS存儲目錄、副本數量等關鍵參數。
• mapred-site.xml 和 yarn-site.xml: 配置mapreduce和yarn相關參數。

六、NameNode格式化

在NameNode節點上執行格式化命令：hdfs namenode –format

七、HDFS啟動

執行start-dfs.sh和start-yarn.sh啟動NameNode和DataNode服務。

八、部署驗證

使用命令hdfs dfs -ls驗證HDFS是否正常運行。

九、高可用性配置 (可選)

為增強系統穩定性，可考慮配置zookeeper集群實現NameNode高可用，以及配置HDFS聯邦以實現集群橫向擴展。

十、性能優化 (可選)

• 調整塊大小: 根據實際工作負載調整塊大小。
• 數據本地性: 增加DataNode數量，減少網絡數據傳輸。
• 副本數量: 根據容錯需求調整副本數量。
• 避免小文件: 合并小文件以降低NameNode負載。
• 硬件升級: 使用更高性能的CPU、內存、硬盤和網絡設備。
• 集群擴容: 通過增加NameNode和DataNode節點來擴展集群規模。

重要提示: 以上步驟可能需要根據具體環境和需求進行調整。部署過程中，務必仔細檢查所有配置文件，確保所有服務正確啟動。對于生產環境，建議提前規劃集群擴展性和高可用性，以保證系統穩定可靠。