hbase入门综合概要介绍

￡神魔★判官ぃ 2024-02-18 16:12 89阅读 0赞

Hbase

*  是什么
    
     *  HDFS上开发的面向列的分布式数据库
     *  依赖于zookeeper
 *  数据模型
    
     *  表
        
         *  模式
            
             *  表的属性
                
                 *  disable离线
                 *  enable在线
             *  列族的列表
         *  行
            
             *  行键
                
                 *  字节数组
             *  行根据行的键值进行排序
         *  列
            
             *  列族column family
                
                 *  物理上所有的列族成员都一起存放在文件系统中
                 *  调优和存储都是在列族层次进行的
                 *  必须作为表的一部分预先给出
                 *  列族成员可以随后加入
                 *  属性
                    
                     *  是否应该在文件系统中被压缩存储
                     *  一个单元格要保存多少个版本
         *  单元格cell
            
             *  行和列的交叉坐标决定
             *  有版本
                
                 *  hbase插入时的时间戳
             *  未解释的字节数组
         *  区域region
            
             *  由表中行的子集构成
             *  由其所属的表、它包含的第一行及最后一行（不含这行）来表示
             *  超过大小阀值便会分成两个大小基本相同的新分区region
 *  实现
    
     *  regionserver
        
         *  负责region区域管理
         *  响应客户端的请求
            
             *  写操作
                
                 *  首先被追加到提交日志commit log中
                 *  然后被加入内存中的memstore
                 *  memstore满则被刷入文件系统
             *  读操作
         *  region区域划分并通知HBase master有了新的子区域daughter region
            
             *  这样master就可以用子区域替换父区域
     *  master节点协调管理多个regionserver从属机
        
         *  启动bootstrap一个全新的安装
         *  把区域分配给注册的regionserver
     *  zookeeper实例
        
         *  根目录表的位置，master主控机的地址等信息管理
         *  机器故障时通过zookeeper协调恢复服务
         *  regionserver节点列在conf/regionservers文件中
     *  持久化
        
         *  Hadoop文件系统API来实现
            
             *  本地文件系统
             *  HDFS等
     *  运行中的HBase
        
         *  特殊目录表
            
             *  维护所有区域的列表、状态和位置
             *  \-ROOT-
                
                 *  包含.META.表的区域列表
                 *  .META.
                    
                     *  包含所有用户空间区域的列表
                     *  使用区域名作为键
                        
                         *  区域名由所属的表名、区域的起始行、区域的创建时间以及对其整体进行的MD5哈希值组成
                         *  键是排序的，查询某行所在区域只要在目录表中找到第一个键大于或等于给定行的键的项即可
             *  区域变化时目录表会进行相应的更新
             *  每个行操作可能要访问三次远程节点
                
                 *  连接到zookeeper的客户端首选查找-ROOT-的位置
                 *  然后通过-ROOT-获取到请求范围所属.META.区域的位置
                 *  接着查找.META.区域来获取用空间区域所在节点及位置
                 *  接着客户端就可以直接和管理那个区域的regionserver进行交互
         *  客户端会缓存他们遍历-ROOT-时获取的信息和.META.位置以及用空间区域的开始行和结束行
            
             *  当发生错误时会再去查看.META.获取区域的新位置
         *  如果一个regionserver崩溃，master会根据提交日志重做使得区域恢复到服务器失败前的状态
 *  安装
    
     *  解压
        
         *  tar xfz hbase-0.90.4.tar.gz
     *  修改配置
        
         *  hbase-env.sh
            
             *  打开注释配置你的JDK安装路径： export JAVA\_HOME=/usr/java/jdk1.6.0\_27
         *  hbase-site.xml
            
             *  <configuration> <property> <name>hbase.rootdir</name> <value>file:///home/skysnow/hbase/rootdir</value> </property> </configuration>
                
                因为是单机启动，所以只设定了HBase写入的本地路径
     *  启动
        
         *  bin/start-hbase.sh
     *  关闭
        
         *  bin/stop-hbase.sh
     *  shell实践
        
         *  1、用shell来连接HBase.
            
             *  ./hbase shell
         *  2、如果无法连接查看是否是防火墙的问题
            
             *  执行service iptables stop关闭防火墙，重启hbase。
         *  3、 建表操作演示
            
             *  create 'table1','col1'
             *  list
             *  put 'table1','row1','col1:a','value1'
             *  put 'table1','row2','col1:b','value2'
             *  put 'table1','row3','col1:c','value3'
         *  4、 用scan查看表所有数据
            
             *  scan 'table1'
         *  5、 用get查看单行数据
            
             *  get 'table1','row1'
         *  6、 用disable和drop删除表
            
             *  disable 'table1'
             *  drop 'table1'
 *  集群安装
    
     *  设置JAVA\_HOME
     *  设置zookeeper
     *  conf/hbase-site.xml
        
         *  hbase.rootdir
            
             *  file:///home/testuser/hbase
         *  hbase.zookeeper.property.dataDir
            
             *  /home/testuser/zookeeper
         *  hbase.cluster.distributed
            
             *  true
         *  hbase.zookeeper.quorum
            
             *  master,slave1,slave2
         *  hbase.zookeeper.property.dataDir
            
             *  Property from ZooKeeper’s config zoo.cfg. The directory where the snapshot is stored.
             *  /home/myhadoop/hbase/tmp/zookeeper
     *  免密码ssh
     *  conf/regionservers
        
         *  master.hadoop
         *  slave1.hadoop
         *  slave2.hadoop
     *  Configure ZooKeeper
        
         *  conf/hbase-site.xml
            
             *  hbase.zookeeper.quorum
                
                 *  master,slave1,slave2
             *  hbase.zookeeper.property.dataDir
 *  数据迁移
    
     *  导出导入
        
         *  mapreduce
            
             *  cd $HADOOP\_HOME/
             *  bin/hadoop fs -ls /data/test\_table
             *  bin/hbase org.apache.hadoop.hbase.mapreduce.Export test\_table /data/test\_table
             *  create 'test\_copy', 'cf'
             *  bin/hbase org.apache.hadoop.hbase.mapreduce.Import test\_copy hdfs://l-master.data/data/test\_table
                
                 *  test\_table为要导出的表名，/data/test\_table为hdfs中的目录地址。
         *  text
            
             *  echo "scan 'foo'" | hbase shell > myText