视频名称
PySpark SQL用户自定义函数(UDF)
视频内容
您还未登录！(正式会员登录可观看)
视频简介
【PySpark原理深入与实战】配套精讲视频
尽管PySpark SQL为大多数常见用例提供了大量的内置函数，但总会有一些情况下，这些函数都不能提供用户的场景所需要的功能。PySpark SQL提供了一个相当简单的工具来编写用户定义的函数（UDF），并在PySpark数据处理逻辑或应用程序中使用它们，就像使用内置函数一样。
UDF用于扩展框架的函数，并在多个DataFrame上重用这些函数。UDF实际上是用户可以扩展PySpark的功能以满足特定需求的一种方式。