Spark-Sql Hint 解决小文件导致查询慢的问题
2022/1/23 19:04:49
本文主要是介绍Spark-Sql Hint 解决小文件导致查询慢的问题,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
对一个大表进行了30个天分区的查询, spark客户端显示了所有excutor均已执行完毕.
查看hdfs分区也显示已有数据, desc表名显示表还没作成.
于是用 hadoop fs -ls 看了下hdfs文件数发现有上万个小文件. 导致合并查询结果时间巨长
小文件过多会导致文件系统效率低下.我们可以在写sparksql时加入hint合并小文件.
方法如下:
--spark-sql select /*+COALESCE(1)*/ from ( select field from base.table )t ;
这篇关于Spark-Sql Hint 解决小文件导致查询慢的问题的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-06小米11i印度快充版ROM合集:极致体验,超越期待
- 2024-10-06【ROM下载】小米11i 5G 印度版系统, 疾速跃迁,定义新速度
- 2024-10-06【ROM下载】小米 11 青春活力版,青春无极限,活力全开
- 2024-10-05小米13T Pro系统合集:性能与摄影的极致融合,值得你升级的系统ROM
- 2024-10-01基于Python+Vue开发的医院门诊预约挂号系统
- 2024-10-01基于Python+Vue开发的旅游景区管理系统
- 2024-10-01RestfulAPI入门指南:打造简单易懂的API接口
- 2024-10-01初学者指南:了解和使用Server Action
- 2024-10-01Server Component入门指南:搭建与配置详解
- 2024-10-01React 中使用 useRequest 实现数据请求