如果想要在rdd中查看数据该怎么做?
如果想要查看rdd中top3的数据样式该怎么做呢?好像无法直接通过print打印到控制台。
这个地方我第一感觉数据类型长这样,不过老师视频里说的是Tuple3类型直接去掉了括号,我大概猜测是因为mkString的作用,但是想要通过打印数据的方式验证查看下具体格式,结果发现RDD中的数据好像无法打印到控制台
(uid,rating,timestamp) \t (uid,rating,timestamp) \t (uid,rating,timestamp)
最后我通过写了一个仿示例代码,然后将rdd数据保存到了本地文件,结果发现数据格式和我想象中的一样是带有括号的
结果如下:
9
收起
正在回答
1回答
可以通过print打印top3,只不过这个代码不是在driver进程中执行的,是在executor中执行的,所以需要把任务提交到yarn上,到yarn上查看日志才可以。
或者把top3的内容作为map算子的返回结果,后续调用foreach迭代可以打印到控制台上。
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星