前言：
此刻姐妹们对“hive和sparksql使用场景”大致比较着重，我们都想要了解一些“hive和sparksql使用场景”的相关内容。那么小编同时在网摘上收集了一些关于“hive和sparksql使用场景””的相关知识，希望兄弟们能喜欢，看官们一起来学习一下吧！hive on spark ,spark sql 对比测试。
1.数据源：
本测试使用2019-06-20到2019-08-20两个月的数据，总记录数:3232901841.
2.测试对比3.结论
hive on spark 和spark sql测试对比。hive on spark 性能比spark sql差太多。
原因： 1.hive on spark 会把sql解析会rdd的算子，没有经过sparksql的代码优化过程。2.不能使用cache表，来减少IO操作,导致每条sql执行时间都很长。
版权声明：
本站文章均来自互联网搜集，如有侵犯您的权益，请联系我们删除，谢谢。
标签： #hive和sparksql使用场景
