搜索结果
查询Tags标签： Airflow，共有 12条记录-
Docker安装Airflow
环境系统：Ubuntu 22.04.2 LTS docker Version:20.10.21docker-compose version 1.29.2,python3 --version Python 3.10.61、 安装docker 1.1先更新系统sudo apt-get updatesudo apt-get upgrade1.2安装docker：apt-get install docker.io1.3查看docker版本：docker versi…
2023/5/19 1:22:21 人评论 次浏览 -
一键同步mysql到数仓（airflow调度）
经常会接到产品的需求：同步***表到hive，做分析。（做多了感觉很烦，就写一个工具）一：背景、功能、流程介绍 1.背景：1.数仓使用hive存储，datax导数据、airflow调度 2.虽然数据产品同学对datax进行了封装，可以点点点完成mysql表的同步，但是过程太复杂了 还…
2022/7/10 2:20:03 人评论 次浏览 -
sparksql结果快速到mysql（scala代码、airflow调度）
经常会有这样的需求：在现有数仓表的基础上，写一些sql，然后生成hive表并同步到mysql。 次数多了，就像写一个工具完成这个工作一：背景、功能、流程介绍 1.背景：1.数仓使用hive存储，datax导数据、airflow调度 2.不知道怎么利用hive解析sql，拿到对应的schema，但是…
2022/7/10 2:20:02 人评论 次浏览 -
airflow 连接mysql5.7遇到的几个错误
MySQL5.7与MySQL8版本不同导致的密码加密方式问题Airflow从sqlite迁移到mysql，默认的mysql密码加密方式是mysql_native_password 而mysql8默认的密码加密方式是caching_sha2_password 这个问题可通过使用mysql5.7来解决，如果一定要用mysql8，需要在my.cnf配置中就配置my…
2022/5/4 2:12:47 人评论 次浏览 -
自学 14 天后，我毁掉了自己的数据工程师面试
我既然写下本文，就应对读者赤诚相见。我真的不是优秀的数据工程师，也不是优秀的软件开发人员。尽管如此，但技术能力我可能还是有的，而且也有干劲。虽然技术上不是最优秀的，但我比较善于与人打交道。你可能会问：“那我为什么还要读这篇文章呢？” 答案很简单：因为失…
2022/1/30 23:34:25 人评论 次浏览 -
airflow之SubDAGs（转载）
转载：https://www.yuque.com/apachecn/airflow-doc-zh/zh_conceptsSubDAGsSubDAG 非常适合重复模式。在使用 Airflow 时，定义一个返回 DAG 对象的函数是一个很好的设计模式。Airbnb 在加载数据时使用阶段检查交换模式。数据在临时表中暂存，然后对该表执行数据质量检查。…
2021/9/18 23:37:26 人评论 次浏览 -
airflow之SubDAGs（转载）
转载：https://www.yuque.com/apachecn/airflow-doc-zh/zh_conceptsSubDAGsSubDAG 非常适合重复模式。在使用 Airflow 时，定义一个返回 DAG 对象的函数是一个很好的设计模式。Airbnb 在加载数据时使用阶段检查交换模式。数据在临时表中暂存，然后对该表执行数据质量检查。…
2021/9/18 23:37:26 人评论 次浏览 -
AirFlow 1.10.11的安装部署
1 AirFlow 介绍 参见官网 2 AirFlow 1.10.11的安装部署 2.1 安装依赖Centos7.x Python3.5或以上（本次采用3.6.6） Mysql5.7.x Apache-Airflow 1.10.11 可访问外网若是虚拟机等，安装前可备份或快照，以免安装失败，导致不可用 2.2 Python环境准备 Python-3.6.6.tgz # 卸…
2021/9/9 23:34:33 人评论 次浏览 -
AirFlow 1.10.11的安装部署
1 AirFlow 介绍 参见官网 2 AirFlow 1.10.11的安装部署 2.1 安装依赖Centos7.x Python3.5或以上（本次采用3.6.6） Mysql5.7.x Apache-Airflow 1.10.11 可访问外网若是虚拟机等，安装前可备份或快照，以免安装失败，导致不可用 2.2 Python环境准备 Python-3.6.6.tgz # 卸…
2021/9/9 23:34:33 人评论 次浏览 -
airflow 2.0.2 python依赖清单
Editable install with no version control (apache-airflow==2.0.2) APScheduler3.6.3 Authlib0.15.3 Babel2.9.0 Flask-AppBuilder3.2.3 Flask-Babel1.0.0 Flask-Bcrypt0.7.1 Flask-Caching1.10.1 Flask-JWT-Extended3.25.1 Flask-Login0.4.1 Flask-OAuthlib0.9.5 Flask…
2021/7/27 17:05:47 人评论 次浏览 -
airflow 2.0.2 python依赖清单
Editable install with no version control (apache-airflow==2.0.2) APScheduler3.6.3 Authlib0.15.3 Babel2.9.0 Flask-AppBuilder3.2.3 Flask-Babel1.0.0 Flask-Bcrypt0.7.1 Flask-Caching1.10.1 Flask-JWT-Extended3.25.1 Flask-Login0.4.1 Flask-OAuthlib0.9.5 Flask…
2021/7/27 17:05:47 人评论 次浏览 -
Apache Airflow实用技巧和最佳实践
当我第一次使用Airflow构建ETL数据管道时，在弄清为什么管道无法运行之后，我经历了许多令人难忘的“啊哈”时刻。由于技术文档无法涵盖所有内容，因此我倾向于通过试错和阅读优秀的源代码来学习新工具。在本文中，我将分享Airflow的许多实用技巧和最佳实践，以帮助您建立…
2021/4/30 10:55:33 人评论 次浏览
