sparksql读取hive表中数据
2021/5/31 19:24:03
本文主要是介绍sparksql读取hive表中数据,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
文章目录
- spark sql与hive本地调试
- new HiveContext空指针异常
- 权限: 异常
- 执行select查询的时候找不到host
spark sql与hive本地调试
将hive-site.xml文件拷贝到resource目录中
pom.xml
org.apache.sparkspark-hive_2.111.6.0
代码
import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} object SparksqlTest { def main(args: Array[String]): Unit = { val sparkconf = new SparkConf().setAppName("Hivesql").setMaster("local[*]") val sc = new SparkContext(sparkconf); val hiveContext = new HiveContext(sc) hiveContext.sql("select * from person1").show() sc.stop() } }
new HiveContext空指针异常
报错 空指针异常,错误点在 new HiveContext()处
java.lang.NoClassDefFoundError - org/apache/spark/sql/hive/HiveContext
解决方法:将hadoop的源码包下载,解压到本地,在环境变量中配置HADOOP_HOME,
并将winutils.exe等一系列文件拷贝到源码中的bin目录中
权限: 异常
/tmp/hive on HDFS should be writable. Current permissions are: rwx–x--x
linux下笔者使用了hadoop命令
hadoop fs -chmod -R 777 /tmp
Windows下进入hadoop源码目录的bin目录下,搜索栏中敲cmd,然后执行
D:\software\hadoop-2.6.5\bin>winutils.exe chmod -R 777 D:/tmp
执行select查询的时候找不到host
java.net.UnknownHostException
将hdfs-site.xml文件拷贝进resource目录下,运行程序还是报错,笔者很生气,关闭idea,重启了下,好了
这篇关于sparksql读取hive表中数据的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-05小米13T Pro系统合集:性能与摄影的极致融合,值得你升级的系统ROM
- 2024-10-01基于Python+Vue开发的医院门诊预约挂号系统
- 2024-10-01基于Python+Vue开发的旅游景区管理系统
- 2024-10-01RestfulAPI入门指南:打造简单易懂的API接口
- 2024-10-01初学者指南:了解和使用Server Action
- 2024-10-01Server Component入门指南:搭建与配置详解
- 2024-10-01React 中使用 useRequest 实现数据请求
- 2024-10-01使用 golang 将ETH账户的资产平均分散到其他账户
- 2024-10-01JWT用户校验课程:从入门到实践
- 2024-10-01Server Component课程入门指南