关于在Spark SQL命令行中集成Hive

问题描述：

老师，
1、我为求快跳过了修改log4j的步骤，进入spark sql命令行后出现这些warn提示应该不影响吧？（spark sql命令行中能正常创建、查询表等）
2、接着我在hive命令行执行insert语句插入一条数据，然后卡住了，这是为什么呢？（此时hive这边计算引擎用的不是spark吗，之前用mapreduce虽然慢但是没卡住）

相关截图：

慕粉1470377717 2025-01-02

源自：Spark3.x扩展内容 3-1 在SparkSQL命令行中集成Hive

收起

1回答

徐老师回答被采纳获得+3积分 2025-01-02 10:48:24

1.不影响，就是看上去日志有点多，比较乱

2.需要到yarn上看一下，看看对应的spark任务为什么没有执行

收起回答

慕粉1470377717 提问者 #1

好的老师。刚刚我又在hive命令行试了下，执行成功了（昨晚的卡住可能是电脑内存快满了==），但耗时也快80秒，然后我到yarn界面看了下，为何ApplicationType是MapReduce，而不是Spark呢？

2025-01-02 11:25:15
徐老师回复提问者慕粉1470377717 #2

我重新看了一下你描述的内容，你现在是在hive中执行的sql，hive的默认引擎是mr，所以你现在看到的是对的。你如果在spark sql命令行里面执行sql，走的才是spark。

2025-01-02 13:19:01
慕粉1470377717 提问者回复徐老师 #3

好的，谢谢老师🙏

2025-01-02 14:27:39