Spark实战系列4：Spark周边项目Livy简介

大数据和云计算技术 08-12 565

前言：

而今你们对“apache livy”大致比较注重，看官们都想要剖析一些“apache livy”的相关资讯。那么小编同时在网络上汇集了一些对于“apache livy””的相关资讯，希望咱们能喜欢，兄弟们快快来学习一下吧！

刘彬同学准备写一系列spark实战系列，本文是第4篇，翻译的Spark 作业调度！赞！推荐给大家，希望大家喜欢和支持！

系列文章

SparkContext 初始化内部原理

checkpoint的实现

【译】Spark 作业调度

1 关于无Spark Client 环境的部署实现

首先，熟悉spark开发的人都知道spark的部署模式分为三种，分别为Local、Standalone、YARN，通过YARN又分为YARN-Client和YARN-Cluster，Local模式一般就是在本地运行Spark任务，需要Spark环境的，Standalone模式是Spark 自身的一种调度模式，也是需要Spark环境，YARN模式中，其实是将Spark JAR包提交到YARN上面，由YARN去开启Contioner然后去执行Spark的作业，这个其实只需要上传Spark Jar包和一些依赖包。不需要在部署Spark环境（充当一个Submit的功能，还占用节点资源）

首先，将Spark jar包和工程的build之后的jar以及工程依赖的jar包上传到HDFS上面，通过本地可以直接运行然后提交Spark 作业，代码已经放在本人Git中，地址如下：［另外提供了真实的项目实例（基于Spark Streaming的实时监控计算Pro）］使用方式也很简单，详见REDEME.MD好的，自己的小玩意已经介绍完了，有兴趣的话可以试一下，下面介绍一下今天的主角：Apache Livy （目前在ASF孵化中）

2 Livy概述

Livy 是 Apache Spark的一个REST服务，Livy可以在任意平台上提交Spark作业

Livy可以在WEB／Mobile中提交（不需要Spark客户端）可编程的、容错的、多租户的Spark作业，因此，多个用户可以并发的、可靠的与Spark集群进行交互使用交互式Python和Scala

对现在程序的代码修改不需要修改Livy，只需要在Maven构建Livy，在Spark集群中部署配置就可以

Livy可以使用Scala或者Python语言，因此客户端可以通过远程与Spark集群进行通讯，此外，批处理作业可以在Scala、java、python中完成

不需要修改代码

3 Apache Livy是什么？

Apache Livy是一个可以通过REST接口轻松的与Spark集群进行交互的服务，它可以很方便提交Spark作业或者Spark代码片段，同步或者异步的进行结果检索以及Spark Context上下文管理， Apache Livy还简化了Spark和应用程序服务器之间的交互，从而使Spark能够用于交互式Web /移动应用程序。其他功能包括：

由多个客户端长时间运行可用于多个Spark作业的Spark上下文

跨多个作业和客户端共享缓存的RDD或数据帧

可以同时管理多个Spark上下文，并且Spark上下文运行在群集上（YARN / Mesos）而不是Livy服务器，以实现良好的容错性和并发性

作业可以作为预编译的jar，代码片段或通过java / scala客户端API提交

通过安全的认证通信确保安全

4 Livy官网结构

Livy的安装运行至少是基于Spark1.6+，并且支持Scala 2.10和2.11，需要导入Livy环境变量如下：

export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf

然后启动服务

./bin/livy-server

Livy默认情况下使用SPARK_HOME的配置，建议将Spark以YARN集群模式的方式提交应用程序，这样可以确保用户会话在YARN集群模式中合适的分配资源，在运行多个Livy服务器的时候不会导致机器过载

5 配置Livy