搜索结果
查询Tags标签： hive，共有 381条记录-
HIVE_mark 误删表恢复
背景 给业务洗数，误拉起一个sqoop抽数任务。反应时过来已经执行了drop并且执行成功 alter table XXX_TABLE drop if exits partition(ds=20220718)； 处理过程 HIVE如果打开了回收站功能，删除的表会临时存放在回收站里面。 明确了drop删除操作是会将数据临时挪到回收站了…
2022/7/28 6:53:48 人评论 次浏览 -
一键同步mysql到数仓（airflow调度）
经常会接到产品的需求：同步***表到hive，做分析。（做多了感觉很烦，就写一个工具）一：背景、功能、流程介绍 1.背景：1.数仓使用hive存储，datax导数据、airflow调度 2.虽然数据产品同学对datax进行了封装，可以点点点完成mysql表的同步，但是过程太复杂了 还…
2022/7/10 2:20:03 人评论 次浏览 -
hive 导出表到mysql
1 在mysql 中建库 CREATE DATABASE yp_olap DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;2 在presto 中建mysql的表 DROP TABLE mysql.yp_olap.test;CREATE TABLE mysql.yp_olap.test(id int comment 主键ID,create_time timestamp comment 会话创…
2022/7/4 2:24:13 人评论 次浏览 -
linux 进入hive
#进入beeline[root@master ~]# beeline#进入beeline后，连接10000端口beeline> !connect jdbc:hive2://192.168.152.50:10000Connecting to jdbc:hive2://192.168.152.50:10000Enter username for jdbc:hive2://192.168.152.50:10000: dwl #用户名dwlEnter password fo…
2022/6/30 5:19:27 人评论 次浏览 -
Spark SQL 数据源 hive表
Spark SQL 数据源（json文件、hive表、parquet文件） -- json 详见 524 hive表scala> val hivecontext = new org.apache.spark.sql.hive.HiveContext(sc) warning: one deprecation (since 2.0.0); for details, enable `:setting -deprecation or `:replay -deprecat…
2022/6/25 2:19:47 人评论 次浏览 -
Hive Sql实现高难度的 sql 需求
题目: (1).前置条件： 有以下数据集I，表查询结果如下图所示，设置该表为表：test_user_scan。 (2).题目要求： 使用 hive sql 查询出每个用户相邻两次浏览时间之差小于三分钟的次数。 预期结果: 解题思路: (1). 子查询G 作为 left join 的主表，主要是为了获取所有的user…
2022/6/16 2:20:07 人评论 次浏览 -
Hive优化
一、join优化 1. 使用相同的连接键当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。 2. 尽量尽早地过滤数据减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。 3. 尽量原子化操作尽量避…
2022/6/14 23:20:33 人评论 次浏览 -
hive sql 将array<float>转成arrray<string>
在网上找了很久，终于解决了，代码如下： with mydata as (selectID,my_arrayfrom(--some array<struct> exampleselect1 ID,array(1.1, 2.2, 3.3) as my_arrayunion allselect2 ID,array(4.4, 5.5, 6.6) as my_array) s ) selectID,concat_ws(,, collect_list(elem…
2022/6/14 2:20:03 人评论 次浏览 -
hive sql
How to transform data into a map using group by in Hive SQL? 用途：https://stackoverflow.com/questions/63708713/how-to-transform-data-into-a-map-using-group-by-in-hive-sql
2022/6/10 2:21:21 人评论 次浏览 -
Hive窗口函数
1.1 Hive窗口函数普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。 简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。 开窗函数一般就是说的是over（）函数，其窗口是由一个 OVER 子句 定义的多行记录 开…
2022/6/8 23:21:48 人评论 次浏览 -
hive SQL 初学者题目，实战题目 字符串函数，日期拼接，开窗函数。。。。
sql:Hive实现按照指定格式输出每七天的消费平均数输出格式：2018-06-01~2018-06-07 12.29...2018-08-10~2018-08-16 80.67 答案：-- 1、先将日期进行切分得到年月日select split(date_time,/),cost from f; 将日期格式转换成上面的格式 select concat_ws(-,split(date_tim…
2022/6/8 2:20:17 人评论 次浏览 -
7.Spark SQL
未交原因：忘记交了1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。spark出现的目的是为了替代Mapreduce，解决Mapreduce计算短板。我们知道最初的计算框架叫 mapreduce，他的缺点是计算速度慢，还有一个就是代码比较麻烦，所以有了 hive；hive 是把类 sql 的语…
2022/6/7 2:20:59 人评论 次浏览 -
Hive-day03_hive介绍和三种交互方式
Hive1.2.1_hive介绍和三种交互方式 1、Hive基本概念 1.1 Hive简介Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。 思考：计算文件us…
2022/6/1 23:21:46 人评论 次浏览 -
SQL与Database
SQL-Structured Query Language 语言简洁，易学易用DDL：Create、Drop、Alter DML：ISUD（Insert、Select、Update、Delete）权限Grant、Revoke场景olap（Analysis） oltp（Transaction）DatabaseBigDataHadoop生态查询引擎组件 定位 架构 开发语言 存储 元数据 查询 安装…
2022/6/1 2:50:37 人评论 次浏览 -
7. Spark SQL
1. 请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 1.1 出现原因SparkSQL的出现源于shark存在线程安全问题和维护语法补丁问题，所以将SparkSQL拿出独立发展。SparkSQL代码由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极…
2022/5/12 2:26:20 人评论 次浏览
