Hadoop2.6.0上的spark1.5.2集群如何搭建

# Hadoop2.6.0上的Spark1.5.2集群搭建指南 ## 前言 在大数据技术生态中，Hadoop和Spark是两个核心组件。Hadoop提供了可靠的分布式存储(HDFS)和计算框架(MapReduce)，而Spark则以其内存计算和高效的DAG执行引擎著称。本文将详细介绍在Hadoop 2.6.0环境中搭建Spark 1.5.2集群的全过程。 ## 环境准备 ### 硬件要求 - **至少3台服务器**（1个Master，2个Worker节点） - **每台机器建议配置**： - CPU: 4核以上 - 内存: 8GB以上（Spark对内存需求较高） - 磁盘: 50GB以上可用空间 - 网络: 千兆网卡 ### 软件要求 - **操作系统**: Linux（推荐CentOS 7.x或Ubuntu 16.04） - **Java环境**: JDK 1.7或更高版本 - **Hadoop版本**: 2.6.0 - **Spark版本**: 1.5.2 - **SSH**: 节点间需配置免密登录 ## 第一步：基础环境配置 ### 1. 系统设置 ```bash # 所有节点执行 sudo hostnamectl set-hostname master # 主节点 sudo hostnamectl set-hostname worker1 # 工作节点1 sudo hostnamectl set-hostname worker2 # 工作节点2 # 编辑/etc/hosts文件 192.168.1.100 master 192.168.1.101 worker1 192.168.1.102 worker2 

2. 创建专用用户

sudo useradd hadoop sudo passwd hadoop sudo usermod -aG wheel hadoop # CentOS sudo usermod -aG sudo hadoop # Ubuntu 

3. SSH免密登录配置

# 在master节点执行 su - hadoop ssh-keygen -t rsa ssh-copy-id hadoop@master ssh-copy-id hadoop@worker1 ssh-copy-id hadoop@worker2 

第二步：Hadoop 2.6.0集群安装

1. 下载并解压

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz tar -xzvf hadoop-2.6.0.tar.gz -C /opt/ ln -s /opt/hadoop-2.6.0 /opt/hadoop 

2. 环境变量配置

编辑~/.bashrc文件：

export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_YARN_HOME=$HADOOP_HOME export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 

3. 核心配置文件修改

core-site.xml:

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> </configuration> 

hdfs-site.xml:

<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/hdfs/data</value> </property> </configuration> 

mapred-site.xml:

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 

yarn-site.xml:

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> </configuration> 

4. 工作节点配置

编辑$HADOOP_HOME/etc/hadoop/slaves文件：

worker1 worker2 

5. 格式化HDFS并启动集群

# 在master节点执行 hdfs namenode -format start-dfs.sh start-yarn.sh 

验证集群状态：

jps # 应该看到NameNode、ResourceManager等进程 hdfs dfsadmin -report 

第三步：Spark 1.5.2集群安装

1. 下载并解压

wget https://archive.apache.org/dist/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz tar -xzvf spark-1.5.2-bin-hadoop2.6.tgz -C /opt/ ln -s /opt/spark-1.5.2-bin-hadoop2.6 /opt/spark 

2. 环境变量配置

编辑~/.bashrc文件：

export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin 

3. Spark配置文件

spark-env.sh:

cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh 

编辑内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_MASTER_IP=master export SPARK_WORKER_MEMORY=4g export SPARK_WORKER_CORES=2 export SPARK_LOCAL_DIRS=/opt/spark/tmp 

slaves:

cp $SPARK_HOME/conf/slaves.template $SPARK_HOME/conf/slaves 

编辑内容：

worker1 worker2 

4. 分发Spark到工作节点

scp -r /opt/spark-1.5.2-bin-hadoop2.6 hadoop@worker1:/opt/ scp -r /opt/spark-1.5.2-bin-hadoop2.6 hadoop@worker2:/opt/ 

5. 启动Spark集群

$SPARK_HOME/sbin/start-all.sh 

验证集群状态：

jps # 应该看到Master和Worker进程 

访问Web UI：http://master:8080

第四步：集群验证

1. 运行Spark示例程序

spark-submit --class org.apache.spark.examples.SparkPi \ --master spark://master:7077 \ $SPARK_HOME/examples/jars/spark-examples_2.10-1.5.2.jar 100 

2. 与HDFS集成测试

hdfs dfs -put $SPARK_HOME/README.md /spark-test/ spark-shell --master spark://master:7077 # 在Spark Shell中执行 val textFile = sc.textFile("hdfs://master:9000/spark-test/README.md") textFile.count() 

常见问题解决

1. 端口冲突问题

如果遇到端口冲突，可以修改以下配置：

# 在spark-env.sh中 export SPARK_MASTER_WEBUI_PORT=8989 

2. 内存不足问题

调整Executor内存：

spark-submit --executor-memory 2G ... 

3. 节点无法通信

检查： - 防火墙状态 - /etc/hosts配置 - SSH免密登录是否配置正确

性能优化建议

1. 内存配置：

   • 根据实际硬件调整SPARK_WORKER_MEMORY
   • 设置合理的spark.executor.memory和spark.driver.memory

2. 并行度优化：

   • 合理设置spark.default.parallelism（建议为集群总核数的2-3倍）

3. 数据本地性：

   • 确保Spark和Hadoop部署在同一集群
   • 使用hdfs://路径而非本地路径

4. 序列化配置：

   • 使用Kryo序列化：

      conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") 

结语

通过本文的详细步骤，您已经成功在Hadoop 2.6.0上搭建了Spark 1.5.2集群。虽然这两个版本相对较旧，但这一过程对于理解Hadoop与Spark的集成原理仍然具有重要价值。对于生产环境，建议考虑更新版本的组合以获得更好的性能和安全性。

附录

常用命令参考

命令	描述
start-all.sh	启动Spark集群
stop-all.sh	停止Spark集群
spark-shell	启动交互式Shell
spark-submit	提交Spark作业

版本兼容性说明

• Spark 1.5.x与Hadoop 2.6.x完全兼容
• 支持HDFS、YARN等Hadoop组件
• 支持Hive 1.2.x集成

进一步学习资源

1. Spark官方文档
2. Hadoop官方文档
3. 《Learning Spark》书籍

”`

注：本文约2950字，详细介绍了从环境准备到集群验证的完整过程，包含了配置示例、命令操作和常见问题解决方案。实际部署时请根据具体环境调整参数。