在centos系統中設置hdfs(hadoop分布式文件系統)通常需要執行以下幾個步驟:
-
安裝Java:hadoop依賴于Java環境,因此確保你的centos系統已安裝Java。可以使用以下命令安裝OpenJDK:
sudo yum install java-1.8.0-openjdk-devel
-
下載并解壓Hadoop:從apache Hadoop官方網站下載最新的Hadoop版本,并將其解壓到你選擇的目錄中。
wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
-
設置Hadoop環境變量:編輯/etc/profile.d/hadoop.sh文件,添加Hadoop的環境變量。
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_HOME=/usr/local/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后使環境變量生效:
source /etc/profile.d/hadoop.sh
-
配置Hadoop:編輯Hadoop配置文件,這些文件位于$HADOOP_HOME/etc/hadoop目錄下。
-
core-site.xml:配置Hadoop的核心屬性,例如文件系統的默認名稱。
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>
-
hdfs-site.xml:配置HDFS的屬性,例如副本數和數據節點的存儲路徑。
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop-3.3.1/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop-3.3.1/data/datanode</value></property></configuration>
-
mapred-site.xml:配置MapReduce的屬性。
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
-
-
格式化HDFS:在首次啟動HDFS之前,需要對NameNode進行格式化。
hdfs namenode -format
-
啟動Hadoop集群:啟動HDFS和YARN服務。
start-dfs.sh start-yarn.sh
-
檢查集群狀態:使用以下命令檢查HDFS和YARN的狀態。
jps
你應該能看到NameNode、DataNode、SecondaryNameNode、ResourceManager和NodeManager等進程。
-
訪問Web界面:你可以通過瀏覽器訪問HDFS和YARN的Web界面來監控集群狀態。
- HDFS Web界面:http://
:50070 - YARN Web界面:http://
:8088
- HDFS Web界面:http://
通過上述步驟,你可以在CentOS系統中成功設置并啟動HDFS。