在centos系統中實現hdfs（hadoop分布式文件系統）的高可用性設置，需保證主NameNode發生故障時，備用NameNode能無縫切換。以下是具體操作流程：
1. 前期準備
- Hadoop安裝完成：確認已在CentOS上安裝好Hadoop，并且各節點已正確配置完畢。
- ssh免密登錄配置：為便于管理，需在所有節點間配置SSH免密碼登錄功能。
2. core-site.xml 文件調整
打開$HADOOP_HOME/etc/hadoop/core-site.xml文件，加入如下內容：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> <property> <name>ha.zookeeper.property.dataDir</name> <value>/var/lib/zookeeper</value> </property> </configuration>
3. hdfs-site.xml 文件配置
編輯$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，插入以下參數：
<configuration> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>namenode1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>namenode2:8020</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>namenode1:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>namenode2:50070</value> </property> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/var/hadoop/hdfs/journal</value> </property> </configuration>
4. yarn-site.xml 文件設置
修改$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，添加以下內容：
<configuration> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-cluster</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>resourcemanager1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>resourcemanager2</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>resourcemanager1:8030</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm1</name> <value>resourcemanager1:8030</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm2</name> <value>resourcemanager2:8030</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>resourcemanager1:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>resourcemanager2:8088</value> </property> </configuration>
5. Zookeeper服務啟動
保證Zookeeper集群處于運行狀態。可使用以下命令啟動Zookeeper服務：
$HADOOP_HOME/sbin/start-zookeeper.sh
6. NameNode格式化
在主NameNode節點上執行命令格式化NameNode：
$HADOOP_HOME/bin/hdfs namenode -format
7. JournalNode啟動
在所有JournalNode節點上啟動JournalNode服務：
$HADOOP_HOME/sbin/start-journalnode.sh
8. 元數據同步
在主NameNode節點上執行命令同步元數據至JournalNode：
$HADOOP_HOME/bin/hdfs namenode -bootstrapStandby
9. NameNode啟動
在主NameNode節點上啟動NameNode服務：
$HADOOP_HOME/sbin/start-dfs.sh
在備用NameNode節點上初始化共享編輯日志并啟動NameNode服務：
$HADOOP_HOME/sbin/hdfs namenode -initializeSharedEdits $HADOOP_HOME/sbin/start-dfs.sh
10. ResourceManager啟動
在ResourceManager節點上啟動ResourceManager服務：
$HADOOP_HOME/sbin/start-yarn.sh
在備用ResourceManager節點上啟動ResourceManager服務：
$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager
11. 系統驗證
通過訪問ResourceManager Web界面（如http://resourcemanager1:8088）和NameNode Web界面（如http://namenode1:50070）檢查配置有效性。
按照上述步驟，您應該能夠在CentOS上成功配置HDFS的高可用性。
