生产中可以使用local模式吗

因为我们公司目前只有一个项目用到spark，只分配了一台服务器用来部署spark，这样yarn模式好像没有意义

源自：Spark快速上手 7-2 本周总结+寄语

收起

1回答

徐老师 2020-09-08 22:35:14

你们是在一台机器上部署的spark standalone模式？

其实可以这样做

只需要在客户端机器上配置好spark即可，不需要启动spark进程，使用spark on yarn模式，将任务提交到公共的yarn集群中执行，这样可以共用yarn集群资源，这样是最合适的方案

提问者孤独观测者 #1

啊不，还没部署，正在看用什么模式，因为zk，hadoop和hbase都部署在一台机器了，我就想着能不能直接用local模式。但好像生产不能用local，原因是啥？

2020-09-08 22:46:49
徐老师回复提问者孤独观测者 #2

Local模式不就成单机了，计算性能有限，就体现不出来分布式的效果了，所以生产环境不会这样用

2020-09-08 22:48:35