【大数据学习计划-CDH】HBase最佳实践

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensionalmap。

图1

图2

1）NameSpace

命名空间，类似于关系型数据库的DatabBase概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间。

2）Region

类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更的场景。

3）Row

HBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

4）Column

HBase中的每个列都由ColumnFamily(列族)和ColumnQualifier（列限定符）进行限定，例如info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。

5）TimeStamp

用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入HBase的时间。

6）Cell

由{rowkey,columnFamily：columnQualifier,timeStamp}唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

图3

架构角色：

1）RegionServer

RegionServer为Region的管理者，其实现类为HRegionServer，主要作用如下:

对于数据的操作：get,put,delete；

对于Region的操作：splitRegion、compactRegion。

2）Master

Master是所有RegionServer的管理者，其实现类为HMaster，主要作用如下：

对于表的操作：create,delete,alter

对于RegionServer的操作：分配regions到每个RegionServer，监控每个RegionServer的状态，负载均衡和故障转移。

3）Zookeeper

HBase通过Zookeeper来做Master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。

4）HDFS

HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用的支持。

首先保证Zookeeper集群的正常部署，并启动之：

[root@]$bin/[root@]$bin/[root@]$bin/

Hadoop集群的正常部署并启动：

[root@]$sbin/[root@]$sbin/

解压Hbase到指定目录：

[root@hadoop102software]$/opt/module

修改HBase对应的配置文件。

1）修改内容：

exportJAVA_HOME=/opt/module/_144exportHBASE_MANAGES_ZK=false

2）修改内容：

3）regionservers：

hadoop102hadoop103hadoop104

1）软连接hadoop配置文件到HBase：

[root@hadoop102module]$ln-s/opt/module//etc/hadoop//opt/module/hbase/conf/[root@hadoop102module]$ln-s/opt/module//etc/hadoop//opt/module/hbase/conf/

[root@hadoop102module]$xsynchbase/

1．启动方式

[root@hadoop102hbase]$bin/[root@hadoop102hbase]$bin/

提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。

修复提示：

a、同步时间服务

b、属性：设置更大的值

/value180000/descriptionTimedifferenceofregionserverfrommaster/description/property

2．启动方式2

[root@hadoop102hbase]$bin/

对应的停止服务：

[root@hadoop102hbase]$bin/

启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如：

http://hostname:16010

1．进入HBase客户端命令行

[root@localhost~]JDKHOMEexportHBASE_HOME=/home/hadoop/cdh4/日志输出路径

JVM参数调优

exportHBASE_OPTS="-verbose:gc-XX:+PrintGCDetails-Xloggc:${HBASE_LOG_DIR}/:+PrintGCTimeStamps-XX:+PrintGCApplicationConcurrentTime-XX:+PrintGCApplicationStoppedTime\-server-Xmx20480m-Xms20480m-Xmn10240m-Xss256k-XX:SurvivorRatio=4-XX:MaxPermSize=256m-XX:MaxTenuringThreshold=15\-XX:ParallelGCThreads=16-XX:+UseConcMarkSweepGC-XX:+UseParNewGC-XX:CMSFullGCsBeforeCompaction=5-XX:+UseCMSCompactAtFullCollection\-XX:+CMSClassUnloadingEnabled-XX:CMSInitiatingOccupancyFraction=70-XX:+UseCMSInitiatingOccupancyOnly-XX:CMSMaxAbortablePrecleanTime=5000