龙空技术网

Spark快速入门

小王子1680 92

前言:

今天你们对“spark编程基础scala版 pdf”大体比较关怀,你们都需要分析一些“spark编程基础scala版 pdf”的相关内容。那么小编在网络上搜集了一些关于“spark编程基础scala版 pdf””的相关文章,希望小伙伴们能喜欢,大家一起来了解一下吧!

建议学完Hadoop之后学习Spark

认识scala

各个平台开发的语言如下:

Hadoop: Java

Hive: Java

Storm: Clojure

Kafka: Scala

Spark: Scala

Flink: Scala

Java面向对象编程语言;Scala面向对象及函数的编程语言,可以实现高级函数,为后期读取Spark源码做准备。在学习Spark之前首先要学习Scala语言。

安装开发环境

scala官网:

打开官网,查看所有版本

选择某一版本,课程中选用了2.10.6版本,该版本比较稳定,很多企业也是使用该版本。

选择你使用的操作系统,下载对应的安装包

下载完之后,安装即可,安装过程只需要下一步到完成。

zip文件是插件,需要添加到IDE中。

也可以直接在Plugins页面里面搜索Scala添加插件

注意,在添加插件之前先下载并安装好开发工具IDEA

安装Java环境版本,建议下载安装1.7.0版本

spark官网:

scala shell

windows+r 进入命令窗口,输入scala -version查看已安装scala版本

直接输入scala进入scala shell

定义一个变量val s="abc",打印出来如下:

在IDEA环境中创建一个scala项目

1

2

3

4

5

配置Maven本地仓库,字体大小,背景颜色

默认下自动配置了本地仓库,有时候开发中不需要频繁访问远程中数据库,你也可以下载到本地,然后在这里配置Maven仓库。

修改Maven配置

修改字体及大小

控制台背景颜色修改

切换项目

声明变量

val声明的变量,类型及值都不可变;

如图,一开始已经声明s=123是int类型了,后面把www赋值给s会报错,把456赋值给s也会报错

var声明的变量,值可变,类型不可变

如图:

Scala推荐使用val声明变量

也可以在赋值变量之前先声明变量类型,如下图所示:

scala的值的7种类型和条件表达式

scala的值类型有7种:(无引用类型)

Byte

Char

Short

Int

Long

Float

Double

关于scala的条件表达式的几种类型

for循环

方法和函数的声明以及方法转换函数

#声明一个方法scala> def m2(f: (Int,Int)=> Int) = f(3,4)输出:m2: (f: (Int, Int) => Int)Int#声明一个函数scala> val f1 = (x:Int,y: Int) => x+y输出:f1: (Int, Int) => Int = <function2>  #方法调用函数,即函数作为值,放入方法中scala> m2(f1)输出:Int = 7#方法转换为函数,如下:#声明方法1scala> def m2(f: (Int,Int)=> Int) = f(3,4)输出:m2: (f: (Int, Int) => Int)Int#声明方法2【用来转换函数的】scala> def m1(x:Int,y:Int):Int=x+y输出:m1: (x: Int, y: Int)Int#把方法2转换成函数,这是显式转换scala> val f2=m1 _        #注意:下划线要与m1空一格,不然会出错输出:f2: (Int, Int) => Int = <function2>   #方法1调用函数scala> m2(f2)输出: Int = 7#方法1中调用方法2,Scala会灵活的把m1隐式转换为函数。scala> m2(m1)输出: Int = 7可以看到隐式转换与显式转换调用函数的结果是一样的。

标签: #spark编程基础scala版 pdf