开源分布式工作流任务调度系统 - Easy Scheduler

专注数据架构 外功修行,内功修神

HBase之Rowkey设计总结及易观方舟实战篇

一、引言 HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用,在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能。HBase中...

2018-06-02 21:52:46

阅读数 2289

评论数 2

HBase客户端访问超时的多个因素及参数

在一个需要低延时响应的hbase集群中,使用hbase默认的客户端超时配置简直就是灾难。 但是我们可以考虑在客户端上加上如下几个参数,去改变这种状况

2016-03-14 16:03:21

阅读数 2434

评论数 2

ClusterId read in ZooKeeper is null 处理

ClusterId read in ZooKeeper is null. Re-running the program after fixing issue 1 will result in the following error in the log file (Oddly logged at...

2015-12-22 17:33:54

阅读数 12202

评论数 2

ERROR: Found lingering reference file hdfs

Found lingering reference异常 ERROR: Found lingering reference file hdfs://jiujiang1:9000/hbase/month_hotstatic/5af24d51488823419d155283441c2d0f/c/9b...

2015-06-09 23:36:45

阅读数 2019

评论数 0

There is an overlap in the region chain修复

ERROR: (region day_hotstatic,860010-2355010000_20140417_12_entry_00000000321,1400060700465.fda3b0aca340570aeb64410c97e3cb73.) Multiple regions have t...

2015-06-09 23:33:42

阅读数 3111

评论数 0

There is an overlap in the region chain

ERROR: (regions day_hotstatic,860010-2355010000_20140417_12_entry_00000000321,1398674475358.0dc205736ec1e890bd2d37a2e3220acc. and day_hotstatic,86001...

2015-06-09 23:30:42

阅读数 2122

评论数 0

region xx not deployed on any region server

ERROR: Region { meta => month_hotstatic,860010-2288000000_201405_5_exit_00000047486,1400144486405.e737a0d96930d3ad31fbcf796c9b8a08., hdfs => hd...

2015-06-09 23:27:20

阅读数 4147

评论数 0

hbase集群写不进去数据的问题追踪过程

hbase从集群中有8台regionserver服务器,已稳定运行了5个多月,8月15号,发现集群中4个datanode进程死了,经查原因是内存 outofMemory了(因为这几台机器上部署了spark,给spark开的-Xmx是32g),然后对从集群进行了恢复并进行了补数据,写负载比较 重,又...

2015-06-09 22:59:20

阅读数 3839

评论数 0

HBase并行写机制(mvcc)

HBase在保证高性能的同时,为用户提供了便于理解的一致性数据模型MVCC (Multi Version Concurrency Control),即多版本并发控制技术,把数据库的行锁与行的多个版本结合起来,从而去提高数据库系统的并发性能。 要理解mvcc,首先需知道为什么需要进行并发控制,我们...

2015-02-15 18:33:37

阅读数 39819

评论数 1

hbase的Region分裂代码分析

region分裂有2种触发情景:1是用户手动触发(参见HRegionServer的splitRegion方法),2是后台flush线程flush完一个region的memstore时,会去检查这个region是否需要分裂(参见MemStoreFlushe的flushRegion方法)。这两种实现并...

2014-12-28 20:25:48

阅读数 8041

评论数 1

Hbase万亿级存储性能优化总结

转载请注明原文链接:http://blog.csdn.net/odailidong/article/details/41794403 一、服务端调优  1、参数配置    1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通...

2014-12-07 23:49:30

阅读数 13736

评论数 14

HBase工具之监控Region的可用和读写延时状况

1、介绍HBase集群上region数目由于业务驱动而越来越多,由于服务器本身,网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况。通过对region的监控,也可以反映出hdfs集群的状况 2、工具 org.apache.hadoop.hbase...

2014-02-10 16:51:26

阅读数 4224

评论数 0

提示
确定要删除当前文章?
取消 删除