FlinkCDC-Postgresql篇(版本9.X)
2022/7/12 2:21:32
本文主要是介绍FlinkCDC-Postgresql篇(版本9.X),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
1.PostGreSQL准备
1.修改pg_hba.conf,在#IPV4 local connection下添加
其中all,可以修改为flinkCDC中的访问用户。
# IPv4 local connections: host replication all [访问者IP]/32 trust
2.开启WAL归档
2.1 创建归档目录,目录所在文件
mkdir -p $PGDATA/archive_wals chown -R postgres.postgres $PGDATA/archive_wals
2.2 修改postgresql.conf 内的参数
一定要按照这上面去设置,尤其是archive_command 和wal_level这两个参数
max_wal_senders = 50 #流式程序连接数,看情况修改,提醒:PostGreCDC Connect并行度只能为1且不能修改。 wal_level='logical'; #wal级别 archive_mode='on' #存档模式,默认关闭 archive_command ='cp %p /pgdata/11/archive_wals/%f'; #wal存档目录 max_replication_slots = 20 #复制槽数为20
3.配置postgres-decoderbufs
3.1将yum源替换为aliyun的,安装之前先执行yum -y install wget 检查wget命令有没有安装。
cd /etc/yum.repos.d mv ./CentOS-Base.repo ./CentOS-Base.repo.bak mv ./epel-7.repo ./epel-7.repo.bak wget http://mirrors.aliyun.com/repo/Centos-7.repo wget https://mirrors.aliyun.com/repo/epel-7.repo yum clean all yum makecache yum update
3.2 注意,后续需要用到gcc,我们使用devtoolset-4安装,但是有个坑,centos-release-scl镜像已经不提供devtoolset-4了,直接到7,需要执行如下命令。
wget https://copr.fedoraproject.org/coprs/hhorak/devtoolset-4-rebuild-bootstrap/repo/epel-7/hhorak-devtoolset-4-rebuild-bootstrap-epel-7.repo -O /etc/yum.repos.d/devtools-4.repo yum install devtoolset-4-gcc devtoolset-4-binutils devtoolset-4-gcc-c++ 执行完后用下面命令验证一下 scl enable devtoolset-4 bash
3.3 安装Postgre SQLdecocderbufs
https://www.kancloud.cn/datapipeline-group/v2_7_0/1475270
在上图中,把四个软件在一个文件夹内解压缩。编译安装顺序为,
geos→proj→gdal→postgis,在执行postgis的.configure命令时,需要补充如下参数.
./configure --prefix=/opt/pgsql/postgis --with-geosconfig=/opt/pgsql/geos/bin/geos-config --with-gdalconfig=/opt/pgsql/gdal/bin/
4.务必重启PGSQL
#停止命令 ./pg_ctl stop -D ../../pgsql_data/ #启动命令 ./pg_ctl start -D ../../pgsql_data/
这篇关于FlinkCDC-Postgresql篇(版本9.X)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-23增量更新怎么做?-icode9专业技术文章分享
- 2024-11-23压缩包加密方案有哪些?-icode9专业技术文章分享
- 2024-11-23用shell怎么写一个开机时自动同步远程仓库的代码?-icode9专业技术文章分享
- 2024-11-23webman可以同步自己的仓库吗?-icode9专业技术文章分享
- 2024-11-23在 Webman 中怎么判断是否有某命令进程正在运行?-icode9专业技术文章分享
- 2024-11-23如何重置new Swiper?-icode9专业技术文章分享
- 2024-11-23oss直传有什么好处?-icode9专业技术文章分享
- 2024-11-23如何将oss直传封装成一个组件在其他页面调用时都可以使用?-icode9专业技术文章分享
- 2024-11-23怎么使用laravel 11在代码里获取路由列表?-icode9专业技术文章分享
- 2024-11-22怎么实现ansible playbook 备份代码中命名包含时间戳功能?-icode9专业技术文章分享