当前位置 > CPDA数据分析师 > “数”业专攻 > 大数据入门基础知识--Spark神器的安装

大数据入门基础知识--Spark神器的安装

来源:数据分析师 CPDA | 时间:2019-07-04 | 作者:admin

Spark是一款专用于数据运算的引擎,它可以更好地适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法,并且它基于内存的运算,要比Hadoop高效很多。

 

安装Scala

由于Spark 是在 Scala 语言中实现的,并且其将 Scala 用作应用程序的框架,所以,在安装Spark之前,必须安装它的依赖,即 Scala软件。安装过程很简单,即解压、配置环境变量(注意,Scala在Master机器和Slave机器中都需要安装)。

 

 

下载Scala软件

前往Scala的官网(https://www.scala-lang.org/download/),直接下载最新版本的Scala软件,目前的版本为2.12.8。

大数据入门基础知识 Spark神器的安装 - 大数据入门基础知识--Spark神器的安装

 

上传至Master和Slave机器

利用xftp软件,将下载下来的压缩包软件上传至master主机和两台slave从机中。

 

解压缩

将xshell软件的的窗口调整至下图所示的效果(即通过菜单中的“选项卡“设置为“瓷砖排序”,并选择“工具”内的“发送键输入到所有对话“):

 

大数据入门基础知识 Spark神器的安装1 - 大数据入门基础知识--Spark神器的安装

 

配置好窗口后,切换到/opt/SoftWare目录,使用如下命令,对Scala的.tgz文件做解压缩,并将解压缩目录重命名为scala:

 

tar -xzf scala-2.12.8.tgz

mv scala-2.12.8 scala

 

配置环境变量

vim /etc/profile

 

大数据入门基础知识 Spark神器的安装2 - 大数据入门基础知识--Spark神器的安装

 

source /etc/profile

输入scala命令,如果出现下图中的结果,就说明你已成功安装scala软件。

 

大数据入门基础知识 Spark神器的安装3 - 大数据入门基础知识--Spark神器的安装

 

安装Spark

安装Spark的过程与安装Scala很像,操作步骤也非常的简单,具体如下:

 

下载Spark软件

前往Spark的官网(http://spark.apache.org/downloads.html),直接下载最新版本的Spark软件,目前的版本为2.4.0。

 

大数据入门基础知识 Spark神器的安装4 - 大数据入门基础知识--Spark神器的安装

 

上传至master与slave机器

解压缩

使用如下命令,对Spark的.tgz文件做解压缩,并将解压缩目录重命名为spark:

 

tar -xzf spark-2.4.0-bin-hadoop2.7.tgz

mv spark-2.4.0-bin-hadoop2.7 spark

 

配置文件

配置环境变量:vim /etc/profile

 

大数据入门基础知识 Spark神器的安装5 - 大数据入门基础知识--Spark神器的安装

 

刷新环境变量:source /etc/profile

 

配置spark-env.sh文件

将目录切换到spark下的conf目录,即/opt/SoftWare/spark/conf,然后将spark-env.sh.template文件拷贝为spark-env.sh,然后利用vim命令,往文件末尾添加如下内容:

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

 

大数据入门基础知识 Spark神器的安装6 - 大数据入门基础知识--Spark神器的安装

 

配置slaves文件

将slaves.template文件重新拷贝为slaves,然后利用vim命令,进入文件,将最后一行的localhost删除,并往文件末尾添加如下内容:

 

大数据入门基础知识 Spark神器的安装7 - 大数据入门基础知识--Spark神器的安装

 

到目前为止,Spark的安装和配置就算完成了,接下来我们去启动并验证Spark(需要注意的是,启动前需要启动HDFS和YARN,因为基于Spark分析的数据还都存储在HDFS中)。

 

启动Spark

启动HDFS和YARN只需要在Master机器中执行如下两条命令,并通过jps查看启动的进程:

start-dfs.sh

start-yarn.sh

jps

 

大数据入门基础知识 Spark神器的安装8 - 大数据入门基础知识--Spark神器的安装

 

启动Spark,需要先将目录切换到spark的sbin下,然后仅在Master机器中执行./start-all.sh命令。为验证是否成功启动,可以输入jps命令,结果如下:

 

大数据入门基础知识 Spark神器的安装9 - 大数据入门基础知识--Spark神器的安装

 

从上图可知,master机器中多了Master进程,slave1和slave2机器中多了Worker进程,说明Spark已成功启动。最后,我们通过网页端,也能够发现Spark已启动,只需要在浏览器中输入master:8080

 

大数据入门基础知识 Spark神器的安装10 - 大数据入门基础知识--Spark神器的安装

 

最后,我们再启动Spark的Shell(它是执行Spark代码的交互式环境,类似于Linux的终端),命令为spark-shell,看一看它长啥样子:

 

大数据入门基础知识 Spark神器的安装10 - 大数据入门基础知识--Spark神器的安装

 

如上图所示,你会发现,在启动Spark的交互式窗口后,命令行的前缀是scala>,说明接下来等待你输入的是Scala语句。