怎么查看spark-core依赖所需的Scala版本？

以后如果我们使用其他版本的spark，怎么查看spark-core依赖所需的Scala版本？

他门说这就是人生 2021-03-09

源自：Spark快速上手 3-1 Spark项目开发环境配置

16

收起

1回答

徐老师回答被采纳获得+3积分 2021-03-09 18:03:41

spark安装包下面有一个jars这个目录，这个目录下会有依赖的scala的jar包，scala的jar包名称上带有版本号

他门说这就是人生提问者 #1

原来如此，谢谢徐老师。

2021-03-09 18:05:50

相似问题

检查版本只是检查core模块的版本

自定义source代码无法运行

关于写成本地依赖

spark on yarn模式启动为什么只需要客户端节点

依赖版本

登录后可查看更多问答，登录/注册

大数据工程师

参与学习 1186 人
提交作业 6197 份
解答问题 1201 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

56 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

32 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

21 22

查看更多本课问答

请稍等 ...

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号