搜索结果
查询Tags标签： ETL，共有 41条记录-
Harper的大数据漫谈(1):什么是大数据
Harper的大数据漫谈 前言: 关于Harper的大数据漫谈概述: 什么是大数据前言: 关于Harper的大数据漫谈 回顾一下, 自2013年毕业至今已经8年了, 其中前三年在中国联通做通信, 之后五年转战互联网公司从事大数据行业. 很喜欢这个方向, 也积累了一些心得. 最近在帮组内的实习生…
2021/7/2 23:21:19 人评论 次浏览 -
还在为选不到合适的数据分析工具发愁！？
最近老是被许多企业追着问该如何进行BI的选型，因为近几年随着BI市场和技术的不断发展，涌现出了很多的BI厂商,BI的功能也得到很大的丰富，但是目前在BI领域却没有形成很统一的共识，很多BI工具在功能的侧重点上各有不同，在产品的性能上也比较参差不齐。所以对于企业来…
2021/6/15 18:33:13 人评论 次浏览 -
企业实战（20）ETL数据库迁移工具Kettle的安装配置详解
介绍：Kettle简介：Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle这个ETL工…
2021/6/11 19:22:57 人评论 次浏览 -
还不会使用大数据ETL工具Kettle，你就真的out了!
写在前面： 博主是一名大数据初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请…
2021/6/2 10:29:14 人评论 次浏览 -
Software Testing - 如何测试机器学习算法正确性
分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击http://www.captainbed.net 先上结论：保证算法结果的正确性，需要从「算法推导的正确性」、「算法效果的正确性」和「算法应用的正确性」3个维度来考虑。 01.算法推导…
2021/5/30 22:20:35 人评论 次浏览 -
手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark
文章目录 引言1.第一章 综合实战概述业务需求环境搭建大数据环境 2.第二章 广告数据 ETL实现代码: 3.第三章 业务报表分析3.1报表运行主类3.2各地域数量分布3.3广告投放的地域分布实现代码: 4.第四章 应用执行调度项目结构pom.xml总结引言大家好,我是ChinaManor,直译过来就…
2021/5/23 19:25:23 人评论 次浏览 -
ETL常用工具类
字符相关 public class CharsetUtils {private enum Charset {/*** 7位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块*/US_ASCII("US-ASCII", "位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 "),ISO_8859_1("ISO-8859-1&q…
2021/5/16 10:25:16 人评论 次浏览 -
ETL算法详解
以下是数据仓库常见算法整理，希望对你工作有所帮助，请大家点赞，双击"晓彬聊数据"关注谢谢！晓彬聊数据本公众号主要关注：传统关系型数据库、国产数据库、大数据、数据分析、BI、人工智能、PYTHON等技术开发与交流7篇原创内容公众号**一、ETL定义 **ETL是将业…
2021/5/8 12:25:10 人评论 次浏览 -
大数据ETL之Kettle基本理论与安装部署
大数据ETL之Kettle基本理论与安装部署 最近负责技术面试。在招聘技术人员时遇到好多会Kettle的ETL工程师，恰好之前有做过Kettle的预研和实践，这里花几篇文章简单聊聊kettle文章目录 大数据ETL之Kettle基本理论与安装部署前言1 Kettle简述1.1 Kettle的两种设计1.2 Kettle…
2021/4/27 10:27:56 人评论 次浏览 -
kafka数据定时导入hive便于后续做数据清洗
文章目录问题背景解决过程注意事项问题背景kafka数据定时导入到hive，后续做数据清洗： flume,confulent都需要单独部署服务，比较繁琐。调查其他可选方案，参考以下文章：参考资料 综合比较，camus 简单，比较方便接入。主要分两步： 1、采用mapreduce过程处理数据从kafk…
2021/4/15 10:25:17 人评论 次浏览 -
PLSQL数据源统一调度存储成HDFS---->ETL
PLSQL是一个软件，对于sql语言的扩展，过程性语言，有了逻辑顺序可以做一个过程。而sql必须一句一句来，PLSQL就可以将多条sql写成集合，减少访问服务器每次执行一条的情况。 PL/SQL让SQL真正变成一种编程语言。数据库查询语言--->编程语言。 其实就是对于数据源进行多…
2021/4/12 2:28:46 人评论 次浏览
