搜索结果
查询Tags标签： HBase，共有 243条记录-
内存总是不够？HBase&GeoMesa配置优化了解一下
概况：生产环境HBase集群内存经常处于高位（90%），而且GC之后也是内存依然处于高位，经分析内存全部由集群的regionserver进程所持有，，经常重启之后，大概3-4天就会保持在高位。由上述症状，可以判断集群内存有泄露的嫌疑。分析1、先熟悉一下HBase的内存模型HBase系统中…
2020/8/10 16:33:36 人评论 次浏览 -
HBase 系列（二）—— HBase系统架构及数据结构
一、基本概念 一个典型的 Hbase Table 表如下：1.1 Row Key (行键) Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据，只有以下三种方式：通过指定的 Row Key 进行访问；通过 Row Key 的 range 进行访问，即访问指定范围内的行；进行全表扫描。Row Key 可以…
2020/7/24 8:03:47 人评论 次浏览 -
HBase 系列（三）—— HBase基本环境搭建
一、安装前置条件说明 1.1 JDK版本说明 HBase 需要依赖 JDK 环境，同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需要安装 JDK 1.8+ 。JDK 安装方式见本仓库：Linux 环境下 JDK 安装1.2 Standalone模式和伪集群模式的区别 在 Standalone 模式下，所有守护进程都运行在一个…
2020/7/24 8:03:46 人评论 次浏览 -
HBase 系列（四）—— HBase集群环境配置
一、集群规划 这里搭建一个 3 节点的 HBase 集群，其中三台主机上均为 Regin Server。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 上部署备用的 Master 服务。Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用…
2020/7/24 8:03:46 人评论 次浏览 -
HBase 系列（五）——HBase常用 Shell 命令
一、基本命令 打开 Hbase Shell： # hbase shell1.1 获取帮助 # 获取帮助 help # 获取命令的详细信息 help status1.2 查看服务器状态 status1.3 查看版本信息 version二、关于表的操作 2.1 查看所有表 list2.2 创建表 命令格式： create ‘表名称’, ‘列族名称 1’,‘列…
2020/7/24 8:03:45 人评论 次浏览 -
HBase 系列（六）——HBase Java API 的基本使用
一、简述 截至到目前 (2019.04)，HBase 有两个主要的版本，分别是 1.x 和 2.x ，两个版本的 Java API 有所不同，1.x 中某些方法在 2.x 中被标识为 @deprecated 过时。所以下面关于 API 的样例，我会分别给出 1.x 和 2.x 两个版本。完整的代码见本仓库：Java API 1.x Exam…
2020/7/24 8:03:44 人评论 次浏览 -
HBase 系列（七）——HBase过滤器详解
一、HBase过滤器简介 Hbase 提供了种类丰富的过滤器（filter）来提高数据处理的效率，用户可以通过内置或自定义的过滤器来对数据进行过滤，所有的过滤器都在服务端生效，即谓词下推（predicate push down）。这样可以保证过滤掉的数据不会被传送到客户端，从而减轻网络传…
2020/7/24 8:03:43 人评论 次浏览 -
HBase 系列（八）——HBase协处理器
一、简述 在使用 HBase 时，如果你的数据量达到了数十亿行或数百万列，此时能否在查询中返回大量数据将受制于网络的带宽，即便网络状况允许，但是客户端的计算处理也未必能够满足要求。在这种情况下，协处理器（Coprocessors）应运而生。它允许你将业务计算代码放入在 Re…
2020/7/24 8:03:43 人评论 次浏览 -
HBase 系列（九）——HBase容灾与备份
一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案，即CopyTable、Export/Import、Snapshot。分别介绍如下： 二、CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中，具有以下特点： 支持时间区间 、row 区间 、改变表名称 、改变列族名称 、以及是否…
2020/7/24 8:03:42 人评论 次浏览 -
HBase 系列（十）—— HBase的SQL中间层 Phoenix
一、Phoenix简介 Phoenix 是 HBase 的开源 SQL 中间层，它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在 Phoenix 之前，如果你要访问 HBase，只能调用它的 Java API，但相比于使用一行 SQL 就能实现数据查询，HBase 的 API 还是过于复杂。Phoenix 的理念是 we pu…
2020/7/24 8:03:41 人评论 次浏览 -
HBase 系列（十一）—— Spring/Spring Boot + Mybatis + Phoenix 整合
一、前言 使用 Spring+Mybatis 操作 Phoenix 和操作其他的关系型数据库（如 Mysql，Oracle）在配置上是基本相同的，下面会分别给出 Spring/Spring Boot 整合步骤，完整代码见本仓库： Spring + Mybatis + Phoenix SpringBoot + Mybatis + Phoenix 二、Spring + Mybatis +…
2020/7/24 8:03:40 人评论 次浏览 -
HBase 系列（一）—— HBase简介
一、Hadoop的局限 HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。要想明白为什么产生 HBase，就需要先了解一下 Hadoop 存在的限制？Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据，它是传统数据库的补充，是海量数据存储的最佳方法，…
2020/7/22 15:03:36 人评论 次浏览 -
MySQL同步数据到HBase
前言 这个问题在网上已经一搜一大把了，为什么要自己亲手总结一下仅仅是因为最近自己公司新上了HBase然后使用Spark去读取MySQL的数据写入HBase的时候遇到了一些问题，也困扰了挺久 现在就详细描述一下我去编写这个程序的流程，代码是如何去变化的 一、开发过程记录 我们现…
2020/6/22 17:28:21 人评论 次浏览 -
Hbase 概述
1. 什么是HBase HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的顶级项目来开发维护，用于支持结构化的数据存储。 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储…
2020/6/18 17:27:31 人评论 次浏览 -
我终于看懂了HBase，太不容易了...
前言只有光头才能变强。文本已收录至我的GitHub精选文章，欢迎Star：github.com/ZhongFuChen…在我还不了解分布式和大数据的时候已经听说过HBase了，但对它一直都半知不解，这篇文章来讲讲吧。 在真实生活中，最开始听到这个词是我的一场面试，当年我还是个『小垃圾』，现…
2020/6/3 17:26:26 人评论 次浏览
