搜索结果
查询Tags标签： ETL，共有 41条记录-
HDP 11.sqoop 将 MySQL 数据导? Hive
十二、 sqoop 将 MySQL 数据导⼊ Hive 1、 将 ambari.users 表导入到 dim_v8sp 数据库在 client-v01 服务器创建 etl 用户 HOME目录，生成kerberos票据文件，并添加 crontab以定期刷新飘据到缓存。 cd /home/; cp -r ./bigdata ./etl; chown -R etl:etl ./etl; rm -rf /…
2021/11/4 19:09:53 人评论 次浏览 -
关于windows收集日志
1.最近在处理windows远程登陆发生【出现了内部错误】。 2.开case跟microsoft，给出如下收集trace的步骤，记录一下 一：Netmon trace安装和使用 您可以从以下站点下载 Network Monitor 3.4 (NetMon)，然后以管理员身份运行以安装 netmon 工具：Download Microsoft Network…
2021/11/2 7:10:29 人评论 次浏览 -
关于windows收集日志
1.最近在处理windows远程登陆发生【出现了内部错误】。 2.开case跟microsoft，给出如下收集trace的步骤，记录一下 一：Netmon trace安装和使用 您可以从以下站点下载 Network Monitor 3.4 (NetMon)，然后以管理员身份运行以安装 netmon 工具：Download Microsoft Network…
2021/11/2 7:10:29 人评论 次浏览 -
采集微博数据ETL项目的处理以及相关技术点
中小型数据仓库项目的标准开发流程 以数据流来驱动项目开发 以已下载微博数据ETL项目为例 基于定的微博数据目录，拿到该目录下所有的输入数据的文件路径。（技术问题done）基于文件路径，读取文本文件的数据。解析读取出来的文件数据，成为结构化数据-微博博文对象抽象类…
2021/11/1 23:13:51 人评论 次浏览 -
采集微博数据ETL项目的处理以及相关技术点
中小型数据仓库项目的标准开发流程 以数据流来驱动项目开发 以已下载微博数据ETL项目为例 基于定的微博数据目录，拿到该目录下所有的输入数据的文件路径。（技术问题done）基于文件路径，读取文本文件的数据。解析读取出来的文件数据，成为结构化数据-微博博文对象抽象类…
2021/11/1 23:13:51 人评论 次浏览 -
ETL数据整合与处理——实例
1.Excel输入 1.打开Kettle工具，创建转换 使用Kettle工具，创建一个转换，并添加Excel输入控件，具体如图1所示： 图1 创建转换 2.配置“Excel输入”控件 双击“Excel输入”控件，进入“Excel输入”配置界面，单击“浏览”按钮，选择物理成绩.xls；单击“增加”按钮，具体…
2021/10/30 23:13:46 人评论 次浏览 -
ETL数据整合与处理——实例
1.Excel输入 1.打开Kettle工具，创建转换 使用Kettle工具，创建一个转换，并添加Excel输入控件，具体如图1所示： 图1 创建转换 2.配置“Excel输入”控件 双击“Excel输入”控件，进入“Excel输入”配置界面，单击“浏览”按钮，选择物理成绩.xls；单击“增加”按钮，具体…
2021/10/30 23:13:46 人评论 次浏览 -
ETL讲解（很详细！！！）
ETL讲解（很详细！！！）ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间…
2021/10/12 6:16:25 人评论 次浏览 -
ETL讲解（很详细！！！）
ETL讲解（很详细！！！）ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间…
2021/10/12 6:16:25 人评论 次浏览 -
大数据ETL处理时遇到的坑
目录一、Sqoop导入时代码规范二、Sqoop导出时代码规范三、在Hue中执行的Workflow时，编写Hive Sql脚本注意的点四、在Hue中的Schedule会突然反复执行 一、Sqoop导入时代码规范 import --connect jdbc:mysql://bigdata113:3306/company --username root --password 0000…
2021/9/10 23:09:48 人评论 次浏览 -
大数据ETL处理时遇到的坑
目录一、Sqoop导入时代码规范二、Sqoop导出时代码规范三、在Hue中执行的Workflow时，编写Hive Sql脚本注意的点四、在Hue中的Schedule会突然反复执行 一、Sqoop导入时代码规范 import --connect jdbc:mysql://bigdata113:3306/company --username root --password 0000…
2021/9/10 23:09:48 人评论 次浏览 -
六款主流ETL工具介绍及功能对比
概述 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。最近用kettle做数据处理比较多，所以也就介绍下这方面内容，这里先对比下几…
2021/9/6 23:36:59 人评论 次浏览 -
六款主流ETL工具介绍及功能对比
概述 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。最近用kettle做数据处理比较多，所以也就介绍下这方面内容，这里先对比下几…
2021/9/6 23:36:59 人评论 次浏览 -
Linux添加/删除用户和用户组
本文总结了Linux添加或者删除用户和用户组时常用的一些命令和参数。1、建用户：adduser phpq //新建phpq用户passwd phpq //给phpq用户设置密码 2、建工作组groupadd test //新建tes…
2021/8/21 7:07:45 人评论 次浏览 -
Linux添加/删除用户和用户组
本文总结了Linux添加或者删除用户和用户组时常用的一些命令和参数。1、建用户：adduser phpq //新建phpq用户passwd phpq //给phpq用户设置密码 2、建工作组groupadd test //新建tes…
2021/8/21 7:07:45 人评论 次浏览
