hadoop 常用命令

启动hadoop集群

start-dfs.sh  # 自动启动主节点的NameNode和SecondaryNameNode，从节点的DataNode

start-yarn.sh  # 启动主节点的ResourceManager和从节点的NodeManager

验证集群状态

访问Web UI

• HDFS状态 ： http://master:9870
• YARN状态 ： http://master:8088

测试HDFS操作

创建HDFS目录

hdfs dfs -mkdir /distributed-test

上传文件到HDFS

hdfs dfs -put /local/file.txt /distributed-test

查看文件分布（副本位置）

hdfs fsck /distributed-test/file.txt -files -blocks -locations

运行MapReduce作业

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 10 100