一个去重的问题

老师你写的代码我看懂了，但是我有个疑问

第一步的时候，如果同一个人在同一个直播间不同时间播了会产生重复数据

   val videoInfoFieldRDD = videoInfoRDD.map(line => {
      val videoInfo = JSON.parseObject(line)
      val uid = videoInfo.getString("uid")
      val vid = videoInfo.getString("vid")
      val area = videoInfo.getString("area")
      (vid, (uid, area))
    })

虽然在第五步会去重

val reduceRDD = joinMapRDD.reduceByKey(_ + _);

但是是否在第一步的时候直接加个distinct()，减少join时的数据量会更好？

crazycrush 2023-10-22

源自：Spark快速上手 6-2 TopN主播统计代码实现之Scala代码

收起

1回答

徐老师回答被采纳获得+3积分 2023-10-22 17:05:36

这样不行，在第三步还需要用到vid进行join，第一步提前基于uid做了去重后面就没法用vid进行关联了。

收起回答

crazycrush 提问者 #1

{"uid":"8407173251001","vid":"14943445328940001","area":"US","status":"1","start_time":"1494344544","end_time":"1494344570","watch_num":101,"share_num":"21","type":"video_info"}
{"uid":"8407173251001","vid":"14943445328940001","area":"US","status":"1","start_time":"1494344599","end_time":"1494344699","watch_num":11,"share_num":"22","type":"video_info"}

我的意思是有vid和uid同时重复的数据不是只有uid重复只去vid重复的这个实际情况中也存在吧一个主播在不同的时段在同一个直播间直播

2023-10-22 17:42:41