centos系統下hadoop分布式文件系統(hdfs)的安裝與配置，以及常見兼容性問題的解決方案。本文將逐步指導您完成hdfs的部署，確保其在centos環境中穩定運行。
1. 環境準備工作
首先，需要進行必要的環境準備：
- 禁用防火墻: 為了避免防火墻干擾，在所有節點上禁用防火墻。執行以下命令：
iptables -F iptables -X service iptables save setenforce 0
- 主機名解析: 確保所有節點的主機名能夠正確解析。編輯/etc/hosts文件，添加正確的IP地址和主機名映射。
vim /etc/hosts
- 配置YUM源: 配置合適的YUM源，以便后續安裝所需的軟件包。
2. JDK安裝與配置
hadoop 2.x 需要JDK 1.8。您可以使用以下命令安裝JDK（請替換為您的JDK下載鏈接）：
curl -LO -H "Cookie: oraclelicenseaccept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u71-b15/jdk-8u71-Linux-x64.rpm" rpm -Uvh jdk-8u71-linux-x64.rpm
配置環境變量：編輯/etc/profile文件，添加如下內容：
export JAVA_HOME=/usr/java/default export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar source /etc/profile
3. Hadoop安裝與配置
- 下載并解壓Hadoop: 下載您選擇的Hadoop版本，并將其解壓到指定目錄（例如/usr/hadoop）。
curl -O http://path/to/hadoop-2.7.3.tar.gz tar zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop --strip-components 1
- 配置環境變量: 編輯/etc/profile文件，添加以下Hadoop環境變量：
export HADOOP_HOME=/usr/hadoop export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_hdfs_HOME=$HADOOP_HOME export HADOOP_MAPred_HOME=$HADOOP_HOME export HADOOP_yarn_HOME=$HADOOP_HOME export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH source /etc/profile
- 配置HDFS配置文件: 編輯/etc/hadoop/hdfs-site.xml、/etc/hadoop/core-site.xml、/etc/hadoop/mapred-site.xml和/etc/hadoop/yarn-site.xml文件，根據您的集群配置進行相應的設置。
4. 啟動HDFS集群
- 格式化NameNode:
hdfs namenode -format
- 啟動zookeeper集群: (如果使用ZooKeeper)
start-zookeeper.sh
- 啟動JournalNode: (如果使用HA)
start-journalnode.sh
- 啟動HDFS:
start-dfs.sh
- 啟動YARN:
start-yarn.sh
5. 驗證HDFS集群
最后，驗證HDFS集群是否正常運行：
hdfs dfsadmin -report
通過以上步驟，您應該能夠在centos上成功安裝和配置HDFS。 請確保根據您的實際情況修改相關路徑和配置參數。如有任何問題，請參考Hadoop官方文檔。
