1、spark-sql可以直接使用hive的自定义函数,而不需要重新写一套spark-sql的自定义函数,这里较大家一个简单的配置方式即可
2、将hive的自定义函数jar拷贝到/usr/lib/spark-current/jars,我们的jar是先存在oss,所以用下面的命令,
osscmd get --host=oss-cn-hangzhou-internal.aliyuncs.com --id=accessid --key=accesskey oss://bigdata-cps-test/hive-udx-0.2-jar-with-dependencies.jar /usr/lib/spark-current/jars/hive-udx-0.2-jar-with-dependencies.jar
3、创建自定义函数
DROP FUNCTION IF EXISTS call_tree_pattern;
CREATE FUNCTION call_tree_pattern AS 'com.xx.gateway.elastic.udf.xxxUDF';
4、如果我们的项目从hsql迁移到spark-sql,就可以很平滑的把自定函数迁移过来了
热门文章
- 动物医院资质查询系统(动物医院有限公司)
- 免费宠物领养是不是真的假的(免费宠物领养是不是真的假的呢)
- 猫三联好多钱一针(猫三联一针多少钱)
- 家养的布偶猫能买吗(家养布偶猫价格多少钱一只)
- 被家猫抓伤很长一道轻微出血(被家猫抓伤出了一点点血)
- 1月26日最新机场订阅 | 19M/S|2025年Shadowrocket/SSR/V2ray/Clash免费节点地址链接分享
- AES算法中填充模式的区别(PKCS7Padding/PKCS5Padding/ZeroPadding)
- 机器学习基础:奇异值分解(SVD)
- 上海宠物领养救助站报警电话(上海 宠物救助站)
- 1月19日最新机场订阅 | 18.9M/S|2025年Shadowrocket/Clash/SSR/V2ray免费节点地址链接分享