CentOS HDFS使用案例分析

在CentOS上部署和使用Hadoop分布式文件系统（HDFS）是一个常见的任务，尤其是在大数据处理和分析的场景中。以下是一个详细的使用案例分享，涵盖了从环境搭建到基本操作的各个方面。

环境搭建

1. 准备工作：

• 操作系统：确保所有节点使用的是CentOS 7或更高版本。
• Java环境：安装JDK 8，因为Hadoop是基于Java的。
• SSH配置：配置SSH以便在节点之间进行无密码登录。

2. 安装Hadoop：

• 从Apache Hadoop官网下载对应版本的Hadoop安装包。
• 解压安装包到你指定的目录，例如 /usr/local/hadoop。

3. 配置环境变量：

• 编辑 /etc/profile 文件，添加Hadoop的路径和库路径。
• 使用 source /etc/profile 命令使配置生效。

4. 配置Hadoop配置文件：

• core-site.xml：配置HDFS的默认文件系统和临时目录。
• hdfs-site.xml：配置HDFS的数据节点目录、副本数等。
• mapred-site.xml：配置MapReduce框架。
• yarn-site.xml：配置YARN资源管理器。

5. 格式化NameNode：

• 在NameNode节点上执行 hdfs namenode -format 命令，初始化文件系统。

6. 启动HDFS：

• 使用以下命令启动HDFS集群：/opt/hadoop/sbin/start-dfs.sh。

7. 验证配置：

• 使用 jps 命令检查进程，确保NameNode和DataNode正在运行。
• 通过Web界面（通常是 http://namenode-host:50070）访问HDFS。

基本操作

• 上传文件到HDFS：

  hdfs dfs -put /usr/local/hadoop-2.8.5/NOTICE.txt /input/ 

• 从HDFS下载文件：

  hdfs dfs -get /input/README.txt ./hdfs_backup.txt 

• 删除文件或目录：

  hdfs dfs -rm /input/README.txt hdfs dfs -rm -r /output 

• 创建目录：

  hdfs dfs -mkdir /output hdfs dfs -mkdir -p /output/abc/123 

• 复制文件或目录：

  hdfs dfs -cp /input/NOTICE.txt /input/NOTICE2.txt hdfs dfs -mv /input/NOTICE.txt /input/NOTICE3.txt 

• 查看文件内容：

  hdfs dfs -cat /input/NOTICE3.txt 

以上步骤涵盖了在CentOS上安装和配置HDFS的基本流程，包括环境搭建、基本操作以及高级配置与优化。根据具体需求和环境，选择最适合的配置策略。