完成所有的准备工作后,开始安装Spark预编译包。
(一)下载
Spark的官网下载地址是http://spark.apache.org/downloads.html如下图所示:

当前稳定的最新版本是spark2.2.0,包类型选择Pre-built for Hadoop 2.7 and later,之后就可以点击下方的下载链接进行下载了。当然也可以在centos下直接运行wget命令下载:
然后解压缩并拷贝到/usr/local:
$ tar -zxf spark-2.2.0-bin-hadoop2.7.tgz
$ mv spark-2.2.0-bin-hadoop2.7 /usr/local
(二)设置环境变量
$ vi /etc/profile #在文件末尾位置加入以下代码
export SPARK_HOME=/usr/local/spark-2.2.0-bin-hadoop2.7
export SPARK_HOME=/usr/local/spark-2.2.0-bin-hadoop2.7
载入环境变量:
$ source /etc/profile
(三)验证
运行以下命令:
$ $SPARK_HOME/bin/run-example SparkPi
会得到如下图所示的spark运行信息:

输出信息很长,其中会找到运算结果:
Pi is roughly 3.142995714978575
至此,Spark本地模式已经成功的安装,输入以下命令可以体验以下本地Spark的交互模式:
$ $SPARK_HOME/bin/spark-shell --master local [2]

著作权归作者所有。商业转载请联系本站作者获得授权,非商业转载请注明出处 ZZKOOK。
评论
谢谢你啦
感谢作者,心疼自己。。。
希望无私分享的人越来越多。
大家一起学IT
好吧