在centos系統(tǒng)上部署hadoop分布式文件系統(tǒng)(hdfs)的完整指南。

準(zhǔn)備工作

1. Java環(huán)境安裝: hadoop依賴Java運行環(huán)境。請確保已安裝合適的Java版本 (建議Java 8)。使用以下命令安裝OpenJDK 8:

   sudo yum install java-1.8.0-openjdk-devel

2. Hadoop下載與解壓: 從apache Hadoop官網(wǎng)下載對應(yīng)版本的Hadoop發(fā)行包，并解壓到指定目錄 (例如/opt)。 以下命令以Hadoop 3.3.1為例：

   wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz -C /opt

3. 環(huán)境變量配置: 編輯/etc/profile.d/hadoop.sh文件，設(shè)置Hadoop環(huán)境變量。 請根據(jù)實際路徑調(diào)整：

   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_HOME=/opt/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   保存文件后，運行 source /etc/profile.d/hadoop.sh 使配置生效。

4. Hadoop核心配置文件配置: 需要配置 core-site.xml, hdfs-site.xml, mapred-site.xml, 和 yarn-site.xml 等核心配置文件。 (具體配置內(nèi)容需根據(jù)集群環(huán)境調(diào)整，請參考Hadoop官方文檔)。

HDFS啟動

1. NameNode格式化 (首次啟動): 首次啟動HDFS前，必須格式化NameNode。

   hdfs namenode -format

2. 啟動HDFS集群: 使用以下命令啟動整個HDFS集群：

   start-dfs.sh

HDFS狀態(tài)驗證

1. NameNode狀態(tài)檢查: 使用以下命令查看NameNode狀態(tài)及集群信息：

   hdfs dfsadmin -report

2. Web ui訪問: 通過瀏覽器訪問以下地址查看HDFS的Web界面:

   • NameNode Web UI: http://:50070
   • ResourceManager Web UI: http://:8088 (如果適用)

疑難解答

• 權(quán)限問題: 確保Hadoop用戶擁有Hadoop安裝目錄的正確權(quán)限。

   chown -R hadoop:hadoop /opt/hadoop-3.3.1

• 防火墻配置: 確保防火墻允許Hadoop使用的端口 (50070, 8088等)。

   sudo firewall-cmd --permanent --zone=public --add-port=50070/tcp  sudo firewall-cmd --permanent --zone=public --add-port=8088/tcp  sudo firewall-cmd --reload

• SELinux: 如果啟用了SELinux，可能需要臨時禁用或調(diào)整SELinux策略。 (不推薦永久禁用SELinux)。

   setenforce 0  # 臨時禁用SELinux (重啟后失效)

完成以上步驟后，您應(yīng)該可以在centos上成功啟動并運行HDFS。 如有任何問題，請參考Hadoop官方文檔尋求幫助。