前言:
今天你们对“spark编程基础scala版 pdf”大体比较关怀,你们都需要分析一些“spark编程基础scala版 pdf”的相关内容。那么小编在网络上搜集了一些关于“spark编程基础scala版 pdf””的相关文章,希望小伙伴们能喜欢,大家一起来了解一下吧!建议学完Hadoop之后学习Spark
认识scala
各个平台开发的语言如下:
Hadoop: Java
Hive: Java
Storm: Clojure
Kafka: Scala
Spark: Scala
Flink: Scala
Java面向对象编程语言;Scala面向对象及函数的编程语言,可以实现高级函数,为后期读取Spark源码做准备。在学习Spark之前首先要学习Scala语言。
安装开发环境
scala官网:
打开官网,查看所有版本
选择某一版本,课程中选用了2.10.6版本,该版本比较稳定,很多企业也是使用该版本。
选择你使用的操作系统,下载对应的安装包
下载完之后,安装即可,安装过程只需要下一步到完成。
zip文件是插件,需要添加到IDE中。
也可以直接在Plugins页面里面搜索Scala添加插件
注意,在添加插件之前先下载并安装好开发工具IDEA
安装Java环境版本,建议下载安装1.7.0版本
spark官网:
scala shell
windows+r 进入命令窗口,输入scala -version查看已安装scala版本
直接输入scala进入scala shell
定义一个变量val s="abc",打印出来如下:
在IDEA环境中创建一个scala项目
配置Maven本地仓库,字体大小,背景颜色
默认下自动配置了本地仓库,有时候开发中不需要频繁访问远程中数据库,你也可以下载到本地,然后在这里配置Maven仓库。
声明变量
val声明的变量,类型及值都不可变;
如图,一开始已经声明s=123是int类型了,后面把www赋值给s会报错,把456赋值给s也会报错
var声明的变量,值可变,类型不可变
如图:
Scala推荐使用val声明变量
也可以在赋值变量之前先声明变量类型,如下图所示:
scala的值的7种类型和条件表达式
scala的值类型有7种:(无引用类型)
Byte
Char
Short
Int
Long
Float
Double
关于scala的条件表达式的几种类型
for循环
方法和函数的声明以及方法转换函数
#声明一个方法scala> def m2(f: (Int,Int)=> Int) = f(3,4)输出:m2: (f: (Int, Int) => Int)Int#声明一个函数scala> val f1 = (x:Int,y: Int) => x+y输出:f1: (Int, Int) => Int = <function2> #方法调用函数,即函数作为值,放入方法中scala> m2(f1)输出:Int = 7#方法转换为函数,如下:#声明方法1scala> def m2(f: (Int,Int)=> Int) = f(3,4)输出:m2: (f: (Int, Int) => Int)Int#声明方法2【用来转换函数的】scala> def m1(x:Int,y:Int):Int=x+y输出:m1: (x: Int, y: Int)Int#把方法2转换成函数,这是显式转换scala> val f2=m1 _ #注意:下划线要与m1空一格,不然会出错输出:f2: (Int, Int) => Int = <function2> #方法1调用函数scala> m2(f2)输出: Int = 7#方法1中调用方法2,Scala会灵活的把m1隐式转换为函数。scala> m2(m1)输出: Int = 7可以看到隐式转换与显式转换调用函数的结果是一样的。
标签: #spark编程基础scala版 pdf