admin管理员组

文章数量:1530012

需求：有一个tuple数组，每个元组四个元素，需求按照 _2 _4 分组，_1 _3拼以 _ 拼接后，组内的再以 | 连接。

sql实现为：
select _2+_4,contact_ws(_1+_3,'|') from t1 group by _2+_4，
改用RDD算子实现为：

var arrFriend = ArrayBuffer[(String, String, Int, String)]()

sc.parallelize(arrFriend)
            .map(ele=>(Md5Util.encrypt16(ele._2)+Md5Util.encrypt16(ele._4),ele._1+"_"+ele._3.toString()))
            .reduceByKey((a,b)=>a+"|"+b)

本文标签： 算子字符串RDDgroupcontactws

版权声明：本文标题：RDD算子实现分组、连接字符串 （sql实现 contact_ws group by） 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1726641932a1079742.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。