如果想要在rdd中查看数据该怎么做?
如果想要查看rdd中top3的数据样式该怎么做呢?好像无法直接通过print打印到控制台。
这个地方我第一感觉数据类型长这样,不过老师视频里说的是Tuple3类型直接去掉了括号,我大概猜测是因为mkString的作用,但是想要通过打印数据的方式验证查看下具体格式,结果发现RDD中的数据好像无法打印到控制台
(uid,rating,timestamp) \t (uid,rating,timestamp) \t (uid,rating,timestamp)
最后我通过写了一个仿示例代码,然后将rdd数据保存到了本地文件,结果发现数据格式和我想象中的一样是带有括号的
结果如下:
9
收起
正在回答
1回答
可以通过print打印top3,只不过这个代码不是在driver进程中执行的,是在executor中执行的,所以需要把任务提交到yarn上,到yarn上查看日志才可以。
或者把top3的内容作为map算子的返回结果,后续调用foreach迭代可以打印到控制台上。
大数据工程师 2024 版
- 参与学习 1151 人
- 提交作业 5960 份
- 解答问题 1144 个
不用Java初级内容充数!不用与大数据岗位无关内容占课时!我们做的就是“精华版”大数据课程
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星