hive on spark如何配置？

问题1：

如何将spark配置为hive的计算引擎？

问题2：

hive on spark和spark SQL哪个性能更佳？为什么？

源自：Spark性能优化的道与术 6-1 SparkSql快速上手使用

收起

1回答

徐老师回答被采纳获得+3积分 2021-03-15 14:34:50

问题1：

如何将spark配置为hive的计算引擎？

类似于hive on tez的配置方式，计划今年升级课程的时候增加这块的安装部署步骤。

问题2：

hive on spark和spark SQL哪个性能更佳？为什么？

Hive On Spark和SparkSQL都是翻译层，把SQL翻译成Spark程序，底层执行的都是spark程序，所以性能上没什么区别。

他门说这就是人生提问者 #1

徐老师，如果hive on spark配置起来容易的话，能提前给我一个资料吗？我们公司想用spark替换原有的jdbc读取hive的过程，我想，使用hive on spark就能提高效率了，而且jdbc读取hive的过程的代码也不用改，领导一定会觉得我有想法。

2021-03-15 14:42:43
徐老师回复提问者他门说这就是人生 #2

1：Hive on spark的稳定性需要评估，我们在实际工作中没有这样用过，想要提高hive的计算效率，最常见的方案是替换为tez引擎，tez引擎性能比mapreduce高，并且tez不是基于内存的，所以稳定性会好一些。

2：hive on spark的安装步骤我目前手里还没有，你可以先参考一下网上的公开资料，在查看公开资料的时候需要注意hive的版本和spark的版本
例如这篇hive on spark的安装文章：
https://blog.csdn.net/weixin_40541084/article/details/80156358

2021-03-15 14:55:09
他门说这就是人生提问者回复徐老师 #3

好的，thank you~

2021-03-15 14:58:42