搜索结果
查询Tags标签： STORM，共有 38条记录-
storm源码分析(七)
2021SC@SDUSC 获取属于Worker的Executor read-worker-executors函数用来计算分配到该Worker的Executor,它通过调用Storm-cluster-state的assignment-info函数获得所有Topology的分配信息，然后利用worker的assignemtn-id以及port进行过滤，得到某个worker所属的Executor,这…
2021/11/11 1:10:03 人评论 次浏览 -
【物联网】9.物联网数据分析方法 - 流处理（Spark，Storm）
批处理是把数据攒起来，一次性进行处理的方法。相对而言，流处理是不保存数据，按照到达处理服务器的顺序对数据依次进行处理。 想实时对数据做出反应时，流处理是一个很有效的处理方法。因为批处理是把数据积攒之后隔一段时间进行处理，所以从数据到达之后到处理完毕为止…
2021/10/10 23:48:09 人评论 次浏览 -
【物联网】9.物联网数据分析方法 - 流处理（Spark，Storm）
批处理是把数据攒起来，一次性进行处理的方法。相对而言，流处理是不保存数据，按照到达处理服务器的顺序对数据依次进行处理。 想实时对数据做出反应时，流处理是一个很有效的处理方法。因为批处理是把数据积攒之后隔一段时间进行处理，所以从数据到达之后到处理完毕为止…
2021/10/10 23:48:09 人评论 次浏览 -
实时流处理框架之Storm的安装与部署
参考视频教程: **基于Storm构建实时热力分布项目实战 ** 教程目录 0x00 教程内容0x01 下载Storm * * * * 1. 下载Storm 2. 上传安装包到节点 0x02 安装与配置Storm * * * * 1. 解压Storm 2. 配置Storm 0x03 启动并校验Storm * * * * 1. 启动Storm 2. 校验Storm 0x…
2021/10/1 23:14:09 人评论 次浏览 -
实时流处理框架之Storm的安装与部署
参考视频教程: **基于Storm构建实时热力分布项目实战 ** 教程目录 0x00 教程内容0x01 下载Storm * * * * 1. 下载Storm 2. 上传安装包到节点 0x02 安装与配置Storm * * * * 1. 解压Storm 2. 配置Storm 0x03 启动并校验Storm * * * * 1. 启动Storm 2. 校验Storm 0x…
2021/10/1 23:14:09 人评论 次浏览 -
【笔记】虚拟机安装jstorm并运行demo
本地虚拟机搭建zk环境，安装jstorm，并运行一个简单的jstorm demo。 步骤： 1.安装jdk，python，配置zookeeper。 2.配置jstorm，安装jstorm UI。 3.启动jstorm。详细步骤： 1.安装jdk，配置zookeeper。 (1)安装jdk 启动zk需要java1.8，启动jstorm需要java1.7 先配置jdk1.…
2021/8/24 6:08:31 人评论 次浏览 -
【笔记】虚拟机安装jstorm并运行demo
本地虚拟机搭建zk环境，安装jstorm，并运行一个简单的jstorm demo。 步骤： 1.安装jdk，python，配置zookeeper。 2.配置jstorm，安装jstorm UI。 3.启动jstorm。详细步骤： 1.安装jdk，配置zookeeper。 (1)安装jdk 启动zk需要java1.8，启动jstorm需要java1.7 先配置jdk1.…
2021/8/24 6:08:31 人评论 次浏览 -
STORM事务框架模型 - TransactionTopology
1 TransactionTopology例子 MemoryTransactionalSpout spout = new MemoryTransactionalSpout(DATA, new Fields("word"), PARTITION_TAKE_PER_BATCH); TransactionalTopologyBuilder builder = new TransactionalTopologyBuilder("global-count", &q…
2021/6/19 23:29:04 人评论 次浏览 -
Flume+Kafka+Storm实战：一、Kakfa与Storm整合
文章目录 0x00 文章内容 0x01 Kafka准备 1. 启动Kafka 2. 创建Topic 3. 启动消费者与消费者0x02 Storm准备 1. 构建Maven项目 2. 编写代码0x03 校验结果 1. 打包Storm代码 2. 执行ZK与Storm 3. 执行Storm作业 4. 校验过程0xFF 总结0x00 文章内容 Kafka准备 Storm准备 校验…
2021/6/11 10:28:21 人评论 次浏览 -
Flume+Kafka+Storm实战：二、Flume与Kafka整合
文章目录 0x00 文章内容 0x01 Flume准备 1. 编写Flume配置文件 0x02 Kafka准备 1. 创建topic（如已操作过可跳过） 0x03 校验结果 1. 启动Flume 2. 启动Kafka消费者 3. 测试结果0xFF 总结0x00 文章内容 Flume准备 Kafka准备 校验结果 PS：请自行准备好Flume、Kafka的环境…
2021/6/11 10:27:38 人评论 次浏览 -
大数据技术原理与应用之【流计算】习题
1.试述流数据的概念流数据，即数据以大量、快速、时变的流形式持续到达。2.试述流数据的特点流数据具有如下特征： 数据快速持续到达，潜在大小也许是无穷无尽的 数据来源众多，格式复杂 数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃，要么被归档存储 注重数据…
2021/6/2 10:29:20 人评论 次浏览 -
Java整合Storm使用中文分词
以前写的例子，都是基于用空格分割的单词，英文文本本身就是用空格分割，识别相对容易，但是中文之间是没有空格的，严格地说，中文没有可识别的分隔符，能够识别中文词汇来自于中文语法规则，计算机哪里会？所以必须基于一些词库来识别。所以很多大数据处理框架都提供了使…
2021/5/22 1:55:46 人评论 次浏览 -
美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对…
2021/5/12 11:01:21 人评论 次浏览 -
Storm 系列（三）—— Storm单机版本环境搭建
1. 安装环境要求you need to install Storm’s dependencies on Nimbus and the worker machines. These are: Java 7+ (Apache Storm 1.x is tested through travis ci against both java 7 and java 8 JDKs) Python 2.6.6 (Python 3.x should work too, but is not test…
2020/7/23 8:03:41 人评论 次浏览 -
Storm 系列（四）—— Storm集群环境搭建
一、集群规划 这里搭建一个 3 节点的 Storm 集群：三台主机上均部署 Supervisor 和 LogViewer 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Nimbus 服务外，还在 hadoop002 上部署备用的 Nimbus 服务。Nimbus 服务由 Zookeeper 集群进行协调管理，如果主 Nimbus…
2020/7/23 8:03:40 人评论 次浏览
