生产中可以使用local模式吗

因为我们公司目前只有一个项目用到spark，只分配了一台服务器用来部署spark，这样yarn模式好像没有意义

孤独观测者 2020-09-08

源自：Spark快速上手 7-2 本周总结+寄语

18

收起

1回答

徐老师 2020-09-08 22:35:14

你们是在一台机器上部署的spark standalone模式？

其实可以这样做

只需要在客户端机器上配置好spark即可，不需要启动spark进程，使用spark on yarn模式，将任务提交到公共的yarn集群中执行，这样可以共用yarn集群资源，这样是最合适的方案

提问者孤独观测者 #1

啊不，还没部署，正在看用什么模式，因为zk，hadoop和hbase都部署在一台机器了，我就想着能不能直接用local模式。但好像生产不能用local，原因是啥？

2020-09-08 22:46:49
徐老师回复提问者孤独观测者 #2

Local模式不就成单机了，计算性能有限，就体现不出来分布式的效果了，所以生产环境不会这样用

2020-09-08 22:48:35

相似问题

请问该怎么使用Math.random()函数产生0-200之间的随机数？

关于单例模式

GUAVA这种限流在生产中是怎么使用的呢

产生随机数?

什么是工厂模式

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载