在centos上實現hdfs高可用性（high availability, ha）主要涉及配置主備namenode、使用zookeeper進行狀態監控和故障切換，以及配置journalnode來共享編輯日志以實現數據同步。以下是詳細的步驟和配置說明：
架構概述
- Active NameNode：負責處理所有客戶端請求。
- Standby NameNode：作為Active NameNode的備份，保持與Active NameNode的狀態同步。
- zookeeper：用于監控NameNode的狀態并協調故障切換。
- JournalNode：存儲NameNode的編輯日志（edits log），用于數據同步。
配置步驟
- 安裝和配置ZooKeeper：
- 下載并解壓ZooKeeper。
- 配置ZooKeeper，設置數據目錄和客戶端連接端口。
- 在每個NameNode節點上創建myid文件。
- 啟動ZooKeeper服務。
- 配置hadoop：
- 修改hdfs-site.xml文件，添加高可用性相關配置，如dfs.nameservices、dfs.ha.namenodes、dfs.namenode.rpc-address、dfs.namenode.http-address、dfs.namenode.shared.edits.dir、dfs.client.failover.proxy.provider等。
- 修改core-site.xml文件，配置默認文件系統和臨時目錄。
- 格式化和啟動NameNode：
- 在Active NameNode上格式化NameNode。
- 啟動NameNode。
- 將Active NameNode的元數據復制到Standby NameNode。
- 啟動Standby NameNode。
- 啟動JournalNode：
- 在每個節點上啟動JournalNode進程。
- 驗證高可用性：
- 使用瀏覽器訪問NameNode的Web界面查看狀態。
- 模擬NameNode故障，觀察Standby NameNode是否能夠自動切換為Active狀態。
通過以上步驟，您可以在centos上配置一個高可用的HDFS集群，確保在發生故障時能夠快速切換并繼續提供服務。
