下一篇[未完待续]

本节讲述了 spark-shell 使用环境的搭建。

下载

Spark 下载页面：

Spark 下载：

Hadoop下载：

Hadoop-common 下载页面：

Hadoop-common下载：

配置

Spark2.4.3运行环境：Java 8+, Python 2.7+/3.4+ and R 3.1+。

对于 Scala API, Spark 2.4.3 使用 Scala 2.12。你需要使用兼容的 Scala 版本（2.12.x）。

解压文件：hadoop-2.7.7.tar.gz

添加环境变量：HADOOP_HOME=%SPARK_PARENT_DIR%\hadoop-2.7.7

【图片】spark-hadoop-home.jpg

解压文件：hadoop-common-2.7.1-bin-master-master.zip

将文件 %SPARK_PARENT_DIR%\hadoop-common-2.7.1-bin-master-master\winutils.exe 拷到目录 %SPARK_PARENT_DIR%\hadoop-2.7.7\bin

若不进行此配置，执行命令：bin\spark-shell，会报错：

java.io.IOException: Could not locate executable C:\quxy\softwares\hadoop-2.7.7\bin\winutils.exe in the Hadoop binaries.

【图片】spark-error-winutils.exe.jpg

拷贝 *.dll 到 windows\system32 下。若不做此操作，则会有警告：

【图片】spark-warn-native-hadoop.jpg

解压文件：spark-2.4.3-bin-hadoop2.7.tgz

进入目录：%SPARK_PARENT_DIR%\spark-2.4.3-bin-hadoop2.7

运行

执行命令：bin\spark-shell，看见如下图所示的信息，则说明已成功启动。

你本命令行窗口与 Spark 进行交互操作。

【图片】spark-running.jpg

通过浏览器访问：，可以看到如下图所示。

在这些浏览器页面中，你可以查看任务、阶段、存储、环境、执行器等的情况。

【图片】spark-4040.jpg

下一篇[未完待续]