搜索结果
查询Tags标签： 集群，共有 1097条记录-
Redis-Cluster数据迁移之redis-shake（集群到集群）
1、背景 - 在项目的实施过程中，由于有dev环境和pro环境，这时会有两个redis集群，但是部分数据从甲方的三方数据库中获取存入生产环境的redis集群中，为了方便测试和数据校验，需要将生产redis集群的各节点数据同步到测试环境的redis集群中，最好能实时的同步增量数据。 …
2021/6/1 19:23:54 人评论 次浏览 -
为啥集群小文件治理那么重要，你真的懂吗？
小文件是 Hadoop 集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。如果处理不好，可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算因运而生的。为啥大数据开发都说小文件的治理重要，说HDFS 存储小文件效率低下，比如增加namenod…
2021/6/1 18:52:19 人评论 次浏览 -
带你深入浅出，彻底了解什么是Spark？
大数据专业，或者人工智能，深度学习方向的小伙伴们一定对Spark这个名词不陌生吧~不认识也没有关系，今天Alice为大家带来关于Spark的一个详细介绍。文章目录 激动人心的Spark发展史 Spark为什么流行？ 1：优秀的数据模型和计算抽象 2：完善的生态圈 3.Spark VS Hadoop Sp…
2021/6/1 18:30:27 人评论 次浏览 -
Spark环境搭建——standalone集群模式
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。文章目录 集群角色介绍 集群规划 修改配置并分发 启动和停止 查看web界面 测试集群角色介绍Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么我们先来学习…
2021/6/1 18:29:49 人评论 次浏览 -
Spark环境搭建——HA高可用模式
本篇博客，Alice为大家带来的是Spark的HA高可用环境搭建的教程。原理Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：1.基于文件系统的单点恢…
2021/6/1 18:29:25 人评论 次浏览 -
HBase的集群环境搭建
本篇博客,小菌为大家带来的是关于HBase的集群环境搭建。在开始之前,有一个注意事项:HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行。 第一步: 下载对应的HBase 的安装包所有关于CDH版本的软件包下载地址如下h…
2021/6/1 18:24:04 人评论 次浏览 -
重磅！高级Java都应该知道
前言 不知道大家有没有这样的经历，明明感觉自己这个技术掌握的还行，能写在简历里肯定是有点自信的，但是被面试官一问，就感觉啥也不是 当我从面试的大楼里出来的时候脑袋里还是昏昏沉沉的，你压根不知道我经历了什么，我就面试一个开发岗位，有必要问我这么多 后来咨询…
2021/6/1 14:24:08 人评论 次浏览 -
Redis学习笔记八：集群模式
作者：Grey 原文地址：Redis学习笔记八：集群模式 前面提到的Redis学习笔记七：主从复制和哨兵只能解决Redis的单点压力大和单点故障问题，接下来要讲的Redis Cluster模式，主要是用来解决Redis的单点容量问题。 如何来解决Redis单点容量问题呢？ 如果数据可以拆分，我们可…
2021/6/1 2:23:18 人评论 次浏览 -
LInux系统下搭建redis集群
一、准备首先安装C语言的编译环境apt-get install gcc或者apt-get install build-essential一、下载redis编译安装$ wget http://download.redis.io/releases/redis-4.0.10.tar.gz $ tar xzf redis-4.0.10.tar.gz $ cd redis-4.0.10 $ make //编译 在编译时出现以下错…
2021/6/1 2:21:08 人评论 次浏览 -
Redis进阶 - 如何避免Redis集群脑裂？
文章目录 CAP Redis防止脑裂参数 min-slaves-to-write 验证 注意事项CAP CAP定理（CAP theorem），又被称作布鲁尔定理（Brewer’s theorem） 。 这个定理起源于加州大学伯克利分校 的计算机科学家埃里克布鲁尔在2000年的分布式计算原则研讨会 上提出的一个猜想。 在2002…
2021/5/31 19:26:32 人评论 次浏览 -
Redis-22Redis-集群管理
文章目录 概述 redis-trib.rb 使用帮助 创建集群(create) 功能 参数 示例 注意事项增加节点(add-node) 功能 参数 示例 注意事项删除节点(del-node) 功能 参数 示例 注意事项分片迁移(reshard) 功能 参数 示例 注意事项：数据导入(import) 功能 参数 示例 注意分片检查(ch…
2021/5/31 19:25:44 人评论 次浏览 -
一文理解 Redis 的核心原理与技术！
一、Redis 基础数据结构 1. StringRedis 里的字符串是动态字符串，会根据实际情况动态调整。类似于 Go 里面的切片-slice，如果长度不够则自动扩容。至于如何扩容，方法大致如下：当 length 小于 1M 的时候，扩容规则将目前的字符串翻倍；如果 length 大于 1M 的话，则每次…
2021/5/31 19:23:51 人评论 次浏览 -
redis 主从复制 及 集群
主从复制 Redis 的主从、哨兵架构：https://www.cnblogs.com/yufeng218/p/13443058.html 从 redis 5.0.0 开始 salveof 命令 由 replicaof 命令替换 如果在配置文件中 配置了 replicaof，如下： replicaof 192.168.172.20 6379则该redis 实例为从副本，且主从副本固定了。…
2021/5/31 19:23:47 人评论 次浏览 -
关于Redis的一些问题
Redis什么是RedisRedis是一个完全开源的并遵守BSD协议的高性能键值数据库Redis主要是做什么的？因为很多语言都支持Redis，也因为Redis交换数据很快，在服务器中经常用来存储一些需要频繁调取的数据，节省内存开销，也极大的提升了速度。将一些热点数据存储到Redis中，用的…
2021/5/30 19:26:55 人评论 次浏览 -
50道 Redis常见面试题
哪些大厂在使用Redis？github、twitter、微博、Stack Overflow、阿里巴巴、百度、美团和搜狐等都在用，所以今天小编当作搬运工，为大家整理了一份面试过程中常常遇到的Redis热门面试题，合计50个题目，还算是比较全，有基础的也有高级的。希望对各位读者有所帮助，祝大家…
2021/5/30 19:20:28 人评论 次浏览
