龙空技术网

Spark在Win10下的环境搭建

爱音乐的程序员小新人 236

前言:

如今你们对“apachewin10下载”大概比较关注,我们都需要学习一些“apachewin10下载”的相关知识。那么小编也在网络上网罗了一些关于“apachewin10下载””的相关文章,希望我们能喜欢,大家一起来了解一下吧!

版本说明

jdk:1.8

scala:2.11.8

spark:2.3.0

hadoop:2.8.3

环境准备

jdk配置

1、配置JAVA_HOME与Path:

Path

2、验证配置:

scala安装与配置

1、scala下载:

访问官方地址

2、配置Path:

3、验证配置:

Spark安装与配置

1、spark下载:

访问官方地址

选中官方推荐的地址即可下载,其他地址也可用(建议采用迅雷等下载工具下载,速度比较会快很多)

2、解压至D盘;

3、配置Path:

4、通过spark-shell进入Spark的交互式命令行模式:

如上,可以看到对应的spark、scala、java版本,同时也看到了异常信息,该异常信息是由于hadoop导致的,下面来配置hadoop。

Hadoop安装与配置

1、hadoop下载

访问官方

进入下载页,如下建议地址(同样建议用迅雷等下载工具下载,速度更快)

2、解压至

3、配置HADOOP_HOME&Path:

path:

4、winutils下载:

下载对应版本的bin目录直接替换本地bin目录即可。

5、此时继续spark-shell进入spark命令行交互模式:

此时即不会出现上述的异常提示。

6、访问控制台中的webui如下:

标签: #apachewin10下载