龙空技术网

Spark 读取mysql中的数据

极目馆主 262

前言:

而今我们对“mysql读取大数据”大概比较关怀,大家都需要学习一些“mysql读取大数据”的相关资讯。那么小编也在网摘上搜集了一些对于“mysql读取大数据””的相关文章,希望兄弟们能喜欢,朋友们快快来学习一下吧!

Spark(直接读取mysql中的数据)

两种方法的目的:进行mysql数据的数据清洗

方法一:

①执行

[root@head42 spark]# spark-shell --jars /opt/spark/jars/mysql-connector-java-5.1.38.jar

②执行

val df=spark.read.format("jdbc").option("delimiter",",").option("header","true").option("url","jdbc:mysql://192.168.56.103:3306/test").option("dbtable","customer").option("user","root").option("password","ok").load()#"dbtable":mysql表名df.show

若是出现:java.sql.SQLException: No suitable driver

执行

[root@head42 ~]# cd /opt/hive/lib/[root@head42 lib]# cp mysql-connector-java-5.1.38.jar /opt/spark/jars/

再重新运行上面代码

============================================================

方法二:

①创建sqoop,执行sqoop

#!/bin/bashsqoop import \--connect jdbc:mysql://localhost:3306/test \	#test:mysql的数据库--table table_name \	--username root \--password ok \--target-dir /data/mydata13 \ #指定数据存储在hdfs的路径-m 1 #指定分几块

②进入hive创建外部表(外部表的数据是存储在hdfs上的)

create external table orders(order_id int,order_date timestamp,order_customer_id int,order_status string)row format delimitedfields terminated by ','location '/data/mydata1'

然后在执行以下命令就可以在spark上进行数据的清洗

Spark 连接hive 元数据库(mysql)

方法一:

1)打开Hive metastore[root@head42 ~]# hive --service metastore &netstat -ano|grep 9083   ???2)开启spark连接Mysql[root@head42 ~]# spark-shell --conf spark.hadoop.hive.metastore.uris=thrift://localhost:90833)scala> spark.sql("show tables").showspark.sql("select * from database_name.table_name")//访问其他数据库+--------+--------------+-----------+|database|     tableName|isTemporary|+--------+--------------+-----------+| default|      customer|      false|| default|text_customers|      false|+--------+--------------+-----------+这样就Ok了!

方法二:

1)拷贝hive的hive-site.xml文件到spark的conf目录下

2)修改spark中hive-site.xml文件

添加以下:<configuration><property>  <name>hive.metastore.uris</name> <value>thrift://localhost:9083</value></property></configuration>

3)另建窗口启动:

[root@head42 conf]# hive --service metastore

4)启动spark:

[root@head42 conf]# spark-shell

5)测试:

spark.sql("select * from database_name.table_name").show//访问其他数据库的表格scala> spark.sql("show tables").show+--------+--------------+-----------+|database|     tableName|isTemporary|+--------+--------------+-----------+| default|      customer|      false|| default|text_customers|      false|+--------+--------------+-----------+这样就OK了!

标签: #mysql读取大数据