搜索结果
查询Tags标签： kafka，共有 918条记录-
第二章 数据采集模块之业务数据实时采集（Mysql）
1、Mysql数据准备 （1）创建实时同步数据库 create database flink_gmall（2）将Mysql.sql文件导入到Mysql中 source /opt/data/Mysql.sql（3）查看数据库表 show tables;2、开启数据库的binlog （1）在mysql中对需要进行实时数据监测的库开启binlog sudo vim /etc/my.cnf…
2022/1/12 19:34:29 人评论 次浏览 -
Nginx整合Kafka
Nginx：一个高性能的HTTP和反向代理web服务器，实际生产中一般用作负载均衡； Kafka：一种高吞吐量的分布式发布订阅消息系统，实际生产中一般用作流式处理中间件； Nginx和Kafka都有非常优秀的性能，实际生产中，往往都是通过Nginx记录日志生成日志文件，然后再通过Flume…
2022/1/11 7:06:05 人评论 次浏览 -
Nginx整合Kafka
Nginx：一个高性能的HTTP和反向代理web服务器，实际生产中一般用作负载均衡； Kafka：一种高吞吐量的分布式发布订阅消息系统，实际生产中一般用作流式处理中间件； Nginx和Kafka都有非常优秀的性能，实际生产中，往往都是通过Nginx记录日志生成日志文件，然后再通过Flume…
2022/1/11 7:06:05 人评论 次浏览 -
Kafka消息队列
之前也学习过消息队列，但一直没有使用的场景，今天项目中遇到了 kafka 那便有了应用场景1. Kafka Kafka 是一个分布式、支持分区，多副本的基于 zookeeper 的消息队列。使用消息队列，是应用 A 将要处理的信息发送到消息队列然后继续下面的任务，需要该信息的应用 B 从消…
2022/1/9 23:34:17 人评论 次浏览 -
Kafka消息队列
之前也学习过消息队列，但一直没有使用的场景，今天项目中遇到了 kafka 那便有了应用场景1. Kafka Kafka 是一个分布式、支持分区，多副本的基于 zookeeper 的消息队列。使用消息队列，是应用 A 将要处理的信息发送到消息队列然后继续下面的任务，需要该信息的应用 B 从消…
2022/1/9 23:34:17 人评论 次浏览 -
kafka集群搭建
kafka相关术语 Producer: 消息生产者，就是向kafka broker发消息的客户端 Consumer: 消息消费者，向kafka broker取消息的客户端 Consumer Group（简称"CG"）:消费者组 Broker：一台kafka服务器就是一个broker，一个集群由多个broker组成，一个broker可以容纳多…
2022/1/7 6:08:02 人评论 次浏览 -
kafka集群搭建
kafka相关术语 Producer: 消息生产者，就是向kafka broker发消息的客户端 Consumer: 消息消费者，向kafka broker取消息的客户端 Consumer Group（简称"CG"）:消费者组 Broker：一台kafka服务器就是一个broker，一个集群由多个broker组成，一个broker可以容纳多…
2022/1/7 6:08:02 人评论 次浏览 -
FlinkCDC读取MySQL并写入Kafka案例
场景应用：将MySQL的变化数据转为实时流输出到Kafka中。 1. MySQL的配置2. FlinkCDC的开发 2.1 Pom文件配置 2.2 读取MySQL2.3 自定义输出的数据的格式2.4 写入到Kafka
2022/1/7 2:03:29 人评论 次浏览 -
FlinkCDC读取MySQL并写入Kafka案例
场景应用：将MySQL的变化数据转为实时流输出到Kafka中。 1. MySQL的配置2. FlinkCDC的开发 2.1 Pom文件配置 2.2 读取MySQL2.3 自定义输出的数据的格式2.4 写入到Kafka
2022/1/7 2:03:29 人评论 次浏览 -
graylog+kafka+zookeeper（单机测试及源码），graylog设置URL报警方式（五）
graylog+kafka+zookeeper（单机测试及源码），graylog设置URL报警方式（五） 问题背景graylog+kafka+zookeeper（单机测试及源码），graylog组件部署，查找问题分析（一）graylog+kafka+zookeeper（单机测试及源码），kafka+zookeeper组件部署（二）graylog+kafka+zookeep…
2022/1/6 12:03:24 人评论 次浏览 -
graylog+kafka+zookeeper（单机测试及源码），graylog设置URL报警方式（五）
graylog+kafka+zookeeper（单机测试及源码），graylog设置URL报警方式（五） 问题背景graylog+kafka+zookeeper（单机测试及源码），graylog组件部署，查找问题分析（一）graylog+kafka+zookeeper（单机测试及源码），kafka+zookeeper组件部署（二）graylog+kafka+zookeep…
2022/1/6 12:03:24 人评论 次浏览 -
kafka-部署
kafka部署版本选择： http://kafka.apache.org/downloads Scala 2.12-kafka_2.12-2.7.0.tgz #版本格式 kafka_scala版本_kafka版本 部署三台服务器的高可用kafka环境部署环境： Server1: 192.168.154.167 Server2: 192.168.154.170 Server3: 192.168.154.171 http://kafka…
2021/12/30 23:07:52 人评论 次浏览 -
kafka-部署
kafka部署版本选择： http://kafka.apache.org/downloads Scala 2.12-kafka_2.12-2.7.0.tgz #版本格式 kafka_scala版本_kafka版本 部署三台服务器的高可用kafka环境部署环境： Server1: 192.168.154.167 Server2: 192.168.154.170 Server3: 192.168.154.171 http://kafka…
2021/12/30 23:07:52 人评论 次浏览 -
《深入理解Java虚拟机 2》性能监控与调优，原创Kafka学习笔记
<%for (Map.Entry 7、HSIDS：JIT生成代码反汇编 HSIDS是一个Sun官方推荐的HotSpot虚拟机JIT编译代码的反汇编插件 二、JDK的可视化工具1、JConsole：java监视与管理控制台 JConsole（java monitoring and management console）是一种基于JMX的可视化监视管理工具，它管…
2021/12/30 17:09:51 人评论 次浏览 -
《深入理解Java虚拟机 2》性能监控与调优，原创Kafka学习笔记
<%for (Map.Entry 7、HSIDS：JIT生成代码反汇编 HSIDS是一个Sun官方推荐的HotSpot虚拟机JIT编译代码的反汇编插件 二、JDK的可视化工具1、JConsole：java监视与管理控制台 JConsole（java monitoring and management console）是一种基于JMX的可视化监视管理工具，它管…
2021/12/30 17:09:51 人评论 次浏览
