2025年江苏省高职-大数据应用开发赛项_样题解析_任务B:数据挖掘-子任务二:推荐系统

环境说明:

服务端登录地址详见各任务服务端说明。

补充说明:各节点可通过Asbru工具或SSH客户端进行SSH访问;

主节点MySQL数据库用户名/密码:root/123456(已配置远程连接);

Spark任务在Yarn上用Client运行,方便观察日志。

该任务均使用Scala编写,利用Spark相关库完成。

任务描述

1、根据子任务一的结果,对其进行SVD分解,对数据进行降维保留前5个奇异值信息,根据用户id为6708的用户已购买的商品分别与未购买的商品计算余弦相似度再进行累加求均值,将均值最大的5件商品id进行输出作为推荐使用。将输出结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下。

结果格式如下:

------------------------推荐Top5结果如下------------------------
相似度top1(商品id:1,平均相似度:0.983456)
相似度top2(商品id:71,平均相似度:0.782672)
相似度top3(商品id:22,平均相似度:0.7635246)
相似度top4(商品id:351,平均相似度:0.7335748)
相似度top5(商品id:14,平均相似度:0.522356)

任务分析

任务描述中,要求“根据用户id为6708的用户已购买的商品分别与未 ......

......

抱歉,只有登录会员才可浏览!会员登录


《Spark原理深入与编程实战》