龙空技术网

0697-6.2.0-如何使用SAS连接CDH6.2.0集群的Hive和Impala-2

Hadoop实操 56

前言:

目前你们对“sasjava”大体比较注意,朋友们都想要知道一些“sasjava”的相关资讯。那么小编在网络上搜集了一些对于“sasjava””的相关内容,希望咱们能喜欢,看官们快快来学习一下吧!

Kerberos环境集成4.1 SAS客户端环境配置

1.集群已启用Kerberos认证

2.通过Cloudera Manager Web界面下载HDFS的客户端配置文件至本地

3.修改SAS_HADOOP_CONFIG_PATH环境变量配置如下:

SAS_HADOOP_CONFIG_PATH= F:\Software_Install_Dir\hdfs-clientconfig\hadoop-conf_kb

4.将集群中的krb5.conf文件拷贝到SAS自带的JDK目录SASHome\SASPrivateJavaRuntimeEnvironment\9.4\jre\lib\security下,如下所示

5.安装JCE

注意:SAS在集成Kerberos环境的Impala和Hive时,没有给SAS默认的JDK安装JCE文件。

下载JCE压缩包,解压后如下所示

将local_policy.jar和US_export_policy.jar文件拷贝到SAS自带的JDK目录,如下所示:

4.2 安装Kerberos客户端

1.在Kerberos官网下载安装包,下载地址:

2.安装步骤如下所示:

双击下载好的msi文件

3.单击【Next】

4.选择接收协议,然后单击【Next】

5.单击【Typical】

6.单击【Install】

7.安装完成,单击【Finish】

至此安装完成

8.配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件

将安装KDC Server的服务器上的/etc/krb5.conf配置文件中的部分内容拷贝到该文件中

注意:不要直接替换krb5.ini文件,否则会出现文件格式问题,建议拷贝部分内容到krb5.ini文件中,然后保存文件

9.配置环境变量,如下所示:

KRB5_CONFIG= C:\ProgramData\MIT\Kerberos5\krb5.ini

10.在C盘创建一个目录tmp

配置KRB5CCNAME位置指向该目录下的krb5cache文件

重启机器使环境变量生效

11.配置完成后,启动MIT Kerberos客户端,如下图所示:

12.在Winodw端,通过MIT Kerberos客户Get Ticket

13.在如下列表中可以看到获取的ticket

14.销毁获取到的Ticket

15.命令行下初始化

16.在客户端可以看到初始化成功的Ticket

4.3 SAS连接Hive及操作

打开SAS,然后执行如下代码:

libname HIVE hadoop server="192.168.0.173" port=10000 database='default' HIVE_PRINCIPAL="hive/hadoop1.fayson.com@FAYSON.COM"; proc sql; select * from hive.sastest; quit;

成功连接Hive表test,结果如下所示:

查询结果如下:

4.4 SAS连接Impala及操作

打开SAS,执行以下代码:

libname Impala impala server="192.168.0.173" port=21050 database="default" IMPALA_PRINCIPAL="impala/hadoop1.macro.com@MACRO.COM";proc sql; select * from Impala.sastest;quit;

成功连接Impala,在SAS资源管理器中出现了Impala的逻辑库

查询结果如下

总结

1.SAS M6之前版本是不支持JDK1.8的,而CDH6.2.0最低要求JDK1.8,所以通过SAS访问C6集群时选择使用C5的jar包。

2.SAS在集成Kerberos环境的CDH集群时,需要为SAS默认的JDK安装JCE文件。

3.SAS连接CDH时需要集群的jar包及配置文件,需要在SAS客户端机器上配置环境变量,也可以在在SAS代码中指定变量值。

4.在Window客户端下需要配置kerberos的环境变量KRB5_CONFIG指向krb5.ini路径,KRB5CCNAME指向kerberos用户的缓存文件krb5cache的路径,krb5cache的父目录必须存在, krb5cache文件可以不存在,在kinit时会自动生成。

5.SAS访问Kerberos环境下的CDH集群,需要将集群的krb5.conf文件拷贝到SAS自带的JDK目录SASHome\SASPrivateJavaRuntimeEnvironment\9.4\jre\lib\security下

标签: #sasjava