sql疑问

topN主播 spark改成直接用sql查询那之前Rdd算子做的checkpoint和chche不是没法办做优化了么？

GRdreamflying 2020-09-16

源自：Spark性能优化的道与术 7-3 本周总结+寄语

12

收起

1回答

徐老师回答被采纳获得+3积分 2020-09-16 16:47:19

使用sparksql的时候也可以调用cache或者checkpoint，这个时候就需要将一个大sql拆开了，这样就比较麻烦了，所以在使用sparksql的时候就很少去设置cache或者checkpoint了，使用sparksql主要是为了使用sql处理复杂逻辑的便捷性

GRdreamflying 提问者 #1

那实际工作中如何去辨别使用哪种方式开发呢

2020-09-16 16:52:07
徐老师回复提问者 GRdreamflying #2

如果业务很复杂，使用rdd转换很麻烦，就可以考虑使用sql，这个东西不是绝对的，有时候也会根据个人的意愿去选择使用哪种方式

2020-09-16 16:59:14

相似问题

sql语句引号问题

sql语句报错？

关于sql判断报错问题

关于编写SQL的IDEA

关于这个的sql的几点疑问

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1168 人
提交作业 6093 份
解答问题 1170 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

19 22

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载