logo

小白学苑PBCP

PBCP, 让大数据竞赛更简单!

2022(7.20更新)高职大数据竞赛(任务书一)-数据挖掘任务二:推荐系统

任务描述

根据任务一的结果,计算出与用户id为6708的用户所购买相同商品种类最多的前10位用户id(只考虑他俩购买过多少个相同的商品,不考虑相同的商品买了多少次),并根据Hive的dwd库中相关表或MySQL数据库shtd_store中相关表,获取到这10位用户已购买过的商品,并剔除用户6708已购买的商品,通过计算这10位用户已购买商品与该数据集中商品的余弦相似度累加再求均值,输出相似度前5商品id作为推荐使用,将执行结果截图粘贴至对应报告中。

实现原理

在本任务需求中,实际上是要求实现按商品相似度进行商品推荐,即推荐与任务一中找出的10位用户(他们与用户1605所购买相同商品种类最多)所购买的商品最相似的5种商品。物品相似度计算原理如下图所示:

任务描述中明确要求使用余弦相似度算法来计算商品之间的相似度。

余弦相似度计算公式如下:

启动Hive Metastore服务

Spark读写Hive表,需要访问Metastore服务。在终端中执行如下命令:

......

抱歉,只有登录会员才可浏览!会员登录