示例_数据整合、清洗与转换
原始数据通常是混乱的,需要进行一系列转换才能用于建模和分析工作。这样的数据集可能有丢失的数据、重复的记录、损坏的数据、不完整的记录等等。而数据清理,是把原始数据转换成可用的格式。在大多数项目中,这是最具挑战性和最耗时的一步。
数据清理阶段是一个非常重要的阶段,不仅对于算法来说是正确的,而且还可以让我们更好地理解我们的数据,这样我们就可以在实现算法的同时采取正确的方法。数据处理是执行机器所必需的关键步骤。我们需要对数据进行清洗、筛选、合并和转换,以将其转换为所需的形式,从而能够训练机器学习模型。
下面将通过示例演示在Spark中如何实现:
数据整合
一旦数据从不同的来源获得,接一来就是将它们全部合并,以便将数据作为一个整体进行清理、格式化,并转换为分析所需的格式。
在本节中,我们将讨论如何组合从各种数据源获得的数据。为了更好地理解数据获取和准备阶段,这里我们假设这样的场景:员工数据分散存储在本地的RDD、JSON文件和关系型数据库中。
1、数据加载:下面演示了从不同数据源(内存集合、文件等)加载数据到Dataset中。
// 创建一个RDD并转换为DataFrame val employeesDF = sc.parallelize(List((1, "陈柯宇", 25), (2, "陶心瑶", 35),(3, "楼一萱", 24), ............
抱歉,只有登录会员才可浏览!会员登录