视频名称

PySpark结构化流简介

视频内容

您还未登录!(正式会员登录可观看)

会员登录

视频简介

【PySpark原理深入与实战】配套精讲视频
Spark在2.0版本中发布了新的流计算的API,结构化流(Structured Streaming)。结构化流提供了快速、可扩展、容错、端到端的精确一次性流处理,而用户无需对流进行推理。结构化流操作直接工作在DataFrame上。不再有“流”的概念,只有流式DataFrame和普通DataFrame。流式DataFrame是作为append-only表实现的。在流数据上的查询返回新的DataFrame,使用它们就像在批处理程序中一样使用。