搜索结果
查询Tags标签： STORM，共有 38条记录-
Storm 系列（九）—— Storm集成Kafka
一、整合说明 Storm 官方对 Kafka 的整合分为两个版本，官方说明文档分别如下： Storm Kafka Integration : 主要是针对 0.8.x 版本的 Kafka 提供整合支持； Storm Kafka Integration (0.10.x+) : 包含 Kafka 新版本的 consumer API，主要对 Kafka 0.10.x + 提供整合支持。…
2020/7/23 8:03:40 人评论 次浏览 -
Storm 系列（二）—— Storm核心概念详解
一、Storm核心概念1.1 Topologies（拓扑） 一个完整的 Storm 流处理程序被称为 Storm topology(拓扑)。它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图，Storm 会保持每个提交到集群的 topology 持续地运行，从而处理源源不断的数据流，直到你将其主动杀…
2020/7/22 19:03:36 人评论 次浏览 -
Storm 系列（一）—— Storm和流处理简介
一、Storm 1.1 简介 Storm 是一个开源的分布式实时计算框架，可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点： 支持水平横向扩展； 具有高容错性，通过 ACK 机制每个消息都不丢失； …
2020/7/22 19:03:35 人评论 次浏览 -
Storm 系列（五）—— Storm编程模型详解
一、简介 下图为 Strom 的运行流程图，在开发 Storm 流处理程序时，我们需要采用内置或自定义实现 spout(数据源) 和 bolt(处理单元)，并通过 TopologyBuilder 将它们之间进行关联，形成 Topology。二、IComponent接口 IComponent 接口定义了 Topology 中所有组件 (spout/…
2020/7/22 15:33:37 人评论 次浏览 -
Storm 系列（八）—— Storm集成HDFS和HBase
一、Storm集成HDFS 1.1 项目结构本用例源码下载地址：storm-hdfs-integration1.2 项目主要依赖 项目主要依赖如下，有两个地方需要注意： 这里由于我服务器上安装的是 CDH 版本的 Hadoop，在导入依赖时引入的也是 CDH 版本的依赖，需要使用 <repository> 标签指定 C…
2020/7/22 15:33:36 人评论 次浏览 -
Storm 系列（七）—— Storm集成 Redis 详解
一、简介 Storm-Redis 提供了 Storm 与 Redis 的集成支持，你只需要引入对应的依赖即可使用： <dependency><groupId>org.apache.storm</groupId><artifactId>storm-redis</artifactId><version>${storm.version}</version><…
2020/7/22 15:03:37 人评论 次浏览 -
Storm 系列（六）—— Storm项目三种打包方式对比分析
一、简介 在将 Storm Topology 提交到服务器集群运行时，需要先将项目进行打包。本文主要对比分析各种打包方式，并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种： 第一种：不加任何插件，直接使用 mvn package 打包； 第二种：使用 maven-assembly-plugi…
2020/7/22 15:03:35 人评论 次浏览 -
C/C++实现对STORM运行信息查看及控制的方法
这篇文章主要介绍了C/C++实现对STORM运行信息查看及控制的方法,需要的朋友可以参考下
2019/7/10 23:15:29 人评论 次浏览
