搜索结果
查询Tags标签： udf，共有 23条记录-
在结构数组上使用 PySpark UDF 进行数据转换：在结构数组中添加新字段
在结构数组上使用 PySpark UDF 进行数据转换：在结构数组中添加新字段PySpark UDF on complex Data types 在处理系统日志或任何其他半结构化数据时，我们遇到了具有许多嵌套字段和嵌入式结构数组的数据。 我们要选择的第一个也是最简单的解决方案是展开字段，然后执行数据…
2022/8/28 23:23:31 人评论 次浏览 -
flink sql 知其所以然（十八）：在 flink 中还能使用 hive udf？附源码
1.序篇 源码公众号后台回复1.13.2 sql hive udf获取。 废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（…
2022/2/14 2:15:15 人评论 次浏览 -
Mysql UDF提权方法
Mysql UDF提权方法 0x01 UDF# UDF（user defined function）用户自定义函数，是mysql的一个拓展接口。用户可以通过自定义函数实现在mysql中无法方便实现的功能，其添加的新函数都可以在sql语句中调用，就像调用本机函数一样。 0x02 windows下udf提权的条件#如果mysql版本…
2022/2/5 19:13:08 人评论 次浏览 -
mysql udf反弹端口提权
mysql udf反弹端口提权本篇文章只是记录一下 udf.dll提权的另一种方法，不涉及udf.dll提权原理的详细讲解。 详细的原理讲解请移步博主的这篇文章：https://www.cnblogs.com/02SWD/p/15858250.html 本篇文章所使用的 udf.dll（该udf.dll只适用于32位的mysql数据库）：链接…
2022/2/1 19:11:06 人评论 次浏览 -
PySpark 如何实现 Pandas UDF（用户定义函数）？
PySpark 如何实现 Pandas UDF（用户定义函数）？ 顾名思义，PySpark Pandas UDF 是一种使用 Pandas DataFrame 在 PySpark 中实现用户定义函数 (UDF) 的方法。PySpark API 文档给出的定义如下：“Pandas UDF 是用户定义的函数，由 Spark 执行，使用 Arrow 传输数据，Panda…
2022/1/31 6:06:06 人评论 次浏览 -
MySQL用户自定义函数
从很早开始，MySQL就支持用户自定义函数（UDF)。存储过程只能使用SQL来编写，而UDF没有这个限制，你可以使用支持C语言调用约定的任何编程语言来实现。UDF必须事先编译好并动态链接到服务器上，这种平台相关性使得UDF在很多方面都很强大。UDF速度非常快，而且可以访问大量…
2021/11/13 19:09:46 人评论 次浏览 -
MySQL用户自定义函数
从很早开始，MySQL就支持用户自定义函数（UDF)。存储过程只能使用SQL来编写，而UDF没有这个限制，你可以使用支持C语言调用约定的任何编程语言来实现。UDF必须事先编译好并动态链接到服务器上，这种平台相关性使得UDF在很多方面都很强大。UDF速度非常快，而且可以访问大量…
2021/11/13 19:09:46 人评论 次浏览 -
虹软1:N 基于mysql的插件udf查询速度优化。。。。
环境 linux x64 刚开始是将人脸特征数据全部加载到内存，然后遍历内存，进行比较。 后面偶尔看到了 mysql UDF(Userdefined function)的开发，用户自定义函数#include <mysql.h> #include <stdio.h> #include <stdlib.h> #include <iostream> #in…
2021/10/26 19:13:20 人评论 次浏览 -
虹软1:N 基于mysql的插件udf查询速度优化。。。。
环境 linux x64 刚开始是将人脸特征数据全部加载到内存，然后遍历内存，进行比较。 后面偶尔看到了 mysql UDF(Userdefined function)的开发，用户自定义函数#include <mysql.h> #include <stdio.h> #include <stdlib.h> #include <iostream> #in…
2021/10/26 19:13:20 人评论 次浏览 -
FlinkSQL自定义函数（UDF）维表转换
前言 Table和SQL的关系：SQL是Table的继承封装（这点在Flink的概念有所体现），比如说：StreamTableEnvironment继承自TableEnvironment便可体现出来。故官文中Table的使用均可在SQL中体现出来，比如说自定义函数，Table API & SQL下的自定义函数中只给出了Table方式的…
2021/9/7 19:07:42 人评论 次浏览 -
FlinkSQL自定义函数（UDF）维表转换
前言 Table和SQL的关系：SQL是Table的继承封装（这点在Flink的概念有所体现），比如说：StreamTableEnvironment继承自TableEnvironment便可体现出来。故官文中Table的使用均可在SQL中体现出来，比如说自定义函数，Table API & SQL下的自定义函数中只给出了Table方式的…
2021/9/7 19:07:42 人评论 次浏览 -
Java操作Hive系列1-Hive UDF
文章目录 一.创建Hive工程1.1 新建Java工程1.2 将Hive的lib下所有jar包放到lib目录下1.3 导入hadoop-common jar包1.4 将jar包添加到工程 二.编写java代码并打包三. 注册UDF3.1 上传上一步的jar文件到服务器3.2 注册UDF3.3 Hive UDF测试3.4 创建永久性的函数一.创建Hive工…
2021/7/26 17:07:55 人评论 次浏览 -
Java操作Hive系列1-Hive UDF
文章目录 一.创建Hive工程1.1 新建Java工程1.2 将Hive的lib下所有jar包放到lib目录下1.3 导入hadoop-common jar包1.4 将jar包添加到工程 二.编写java代码并打包三. 注册UDF3.1 上传上一步的jar文件到服务器3.2 注册UDF3.3 Hive UDF测试3.4 创建永久性的函数一.创建Hive工…
2021/7/26 17:07:55 人评论 次浏览 -
Flink实战（八十七）：flink-sql使用（十四）Flink 与 hive 结合使用（六）Hive 函数
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 通过 HiveModule 使用 Hive 内置函数 在 Flink SQL 和 Table API 中，可以通过系统内置的 HiveModule 来使用 Hive 内置函数， 详细信息，请参考 HiveModul…
2021/6/11 2:27:29 人评论 次浏览 -
Flink实战（八十七）：flink-sql使用（十四）Flink 与 hive 结合使用（六）Hive 函数
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 通过 HiveModule 使用 Hive 内置函数 在 Flink SQL 和 Table API 中，可以通过系统内置的 HiveModule 来使用 Hive 内置函数， 详细信息，请参考 HiveModul…
2021/6/11 2:27:27 人评论 次浏览
