重温HBaes部署与java客户端访问

分手后的思念是犯贱 2022-08-01 06:14 141阅读 0赞

好久没搭起来测测了，今天顺手搭起来用用。结果遇到了很多问题，下面一一说明

一、部署

简单起见，我使用了stand-alone模式。直接下载解压即可，注意的是需要改动hbase-site.xml：

<configuration>
            <property>
                    <name>hbase.rootdir</name>
                    <value>file:///root/zhangtieying/hbase</value>
            </property>
            <property>
                    <name>hbase.zookeeper.property.dataDir</name>
                    <value>/root/zhangtieying/zookeeper</value>
            </property>
    </configuration>

另外，注意修改/etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
    10.1.102.104 ccf04
    10.20.14.16 dt16
    10.20.14.17 dt17
    10.20.14.18 dt18
    10.20.14.19 dt19
    10.20.14.20 dt20
    10.20.14.21 dt21
    10.20.14.22 dt22
    10.20.14.23 dt23
    10.20.14.24 dt24
    10.20.14.25 dt25

一定注意：ccf04为主机名，要和实际ip10.1.102.104对应上

ccf04添加为主机名的方法：vim /etc/sysconfig/network：

NETWORKING=yes
    HOSTNAME=ccf04

二、java客户端连接

这里给出我的测试代码（部分代码是copy的）

/**
     * Created by Michael on 2015/6/20.
     */
    
    import java.util.ArrayList;
    import java.util.List;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.hbase.HBaseConfiguration;
    import org.apache.hadoop.hbase.HColumnDescriptor;
    import org.apache.hadoop.hbase.HTableDescriptor;
    import org.apache.hadoop.hbase.KeyValue;
    import org.apache.hadoop.hbase.client.Delete;
    import org.apache.hadoop.hbase.client.Get;
    import org.apache.hadoop.hbase.client.HBaseAdmin;
    import org.apache.hadoop.hbase.client.HTable;
    import org.apache.hadoop.hbase.client.Put;
    import org.apache.hadoop.hbase.client.Result;
    import org.apache.hadoop.hbase.client.ResultScanner;
    import org.apache.hadoop.hbase.client.Scan;
    import org.apache.hadoop.hbase.util.Bytes;
    
    public class TestHbase {
    
        static Configuration conf=null;
        static{
    
            conf=HBaseConfiguration.create();//hbase的配置信息
            conf.set("hbase.zookeeper.quorum", "10.1.102.104:2181");  //zookeeper的地址
    
        }
    
        public static void main(String[] args)throws Exception {
    
            TestHbase t=new TestHbase();
            t.createTable("test-zty", new String[]{"name","age"});
            //t.insertRow("test-zty", "2", "age", "myage", "100");
            // t.getOneDataByRowKey("test-zty", "2");
            //t.showAll("test");
    
        }
    
        /***
         * 创建一张表
         * 并指定列簇
         * */
        public void createTable(String tableName,String cols[])throws Exception{
            HBaseAdmin admin=new HBaseAdmin(conf);//客户端管理工具类
            if(admin.tableExists(tableName)){
                System.out.println("此表已经存在.......");
            }else{
                HTableDescriptor table=new HTableDescriptor(tableName);
                for(String c:cols){
                    HColumnDescriptor col=new HColumnDescriptor(c);//列簇名
                    table.addFamily(col);//添加到此表中
                }
    
                admin.createTable(table);//创建一个表
                admin.close();
                System.out.println("创建表成功!");
            }
        }
    
        /**
         * 添加数据,
         * 建议使用批量添加
         * @param tableName 表名
         * @param row  行号
         * @param columnFamily 列簇
         * @param column   列
         * @param value   具体的值
         *
         * **/
        public  void insertRow(String tableName, String row,
                               String columnFamily, String column, String value) throws Exception {
            HTable table = new HTable(conf, tableName);
            Put put = new Put(Bytes.toBytes(row));
            // 参数出分别：列族、列、值
            put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column),
                    Bytes.toBytes(value));
    
            table.put(put);
            table.close();//关闭
            System.out.println("插入一条数据成功!");
        }
    
        /**
         * 删除一条数据
         * @param tableName 表名
         * @param row  rowkey
         * **/
        public void deleteByRow(String tableName,String rowkey)throws Exception{
            HTable h=new HTable(conf, tableName);
            Delete d=new Delete(Bytes.toBytes(rowkey));
            h.delete(d);//删除一条数据
            h.close();
        }
    
        /**
         * 删除多条数据
         * @param tableName 表名
         * @param row  rowkey
         * **/
        public void deleteByRow(String tableName,String rowkey[])throws Exception{
            HTable h=new HTable(conf, tableName);
    
            List<Delete> list=new ArrayList<Delete>();
            for(String k:rowkey){
                Delete d=new Delete(Bytes.toBytes(k));
                list.add(d);
            }
            h.delete(list);//删除
            h.close();//释放资源
        }
    
        /**
         * 得到一条数据
         *
         * @param tableName 表名
         * @param rowkey 行号
         * ***/
        public void getOneDataByRowKey(String tableName,String rowkey)throws Exception{
            HTable h=new HTable(conf, tableName);
    
            Get g=new Get(Bytes.toBytes(rowkey));
            Result r=h.get(g);
            for(KeyValue k:r.raw()){
    
                System.out.println("行号:  "+Bytes.toStringBinary(k.getRow()));
                System.out.println("时间戳:  "+k.getTimestamp());
                System.out.println("列簇:  "+Bytes.toStringBinary(k.getFamily()));
                System.out.println("列:  "+Bytes.toStringBinary(k.getQualifier()));
                //if(Bytes.toStringBinary(k.getQualifier()).equals("myage")){
                //  System.out.println("值:  "+Bytes.toInt(k.getValue()));
                //}else{
                String ss=  Bytes.toString(k.getValue());
                System.out.println("值:  "+ss);
                //}
    
    
    
            }
            h.close();
        }
    
        /**
         * 扫描所有数据或特定数据
         * @param tableName
         * **/
        public void showAll(String tableName)throws Exception{
    
            HTable h=new HTable(conf, tableName);
    
            Scan scan=new Scan();
            //扫描特定区间
            //Scan scan=new Scan(Bytes.toBytes("开始行号"),Bytes.toBytes("结束行号"));
            ResultScanner scanner=h.getScanner(scan);
            for(Result r:scanner){
                System.out.println("==================================");
                for(KeyValue k:r.raw()){
    
                    System.out.println("行号:  "+Bytes.toStringBinary(k.getRow()));
                    System.out.println("时间戳:  "+k.getTimestamp());
                    System.out.println("列簇:  "+Bytes.toStringBinary(k.getFamily()));
                    System.out.println("列:  "+Bytes.toStringBinary(k.getQualifier()));
                    //if(Bytes.toStringBinary(k.getQualifier()).equals("myage")){
                    //  System.out.println("值:  "+Bytes.toInt(k.getValue()));
                    //}else{
                    String ss=  Bytes.toString(k.getValue());
                    System.out.println("值:  "+ss);
                    //}
                }
            }
            h.close();
        }
    }

工程使用maven，其pom.xml如下：

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>com.codesolid</groupId>
        <artifactId>HelloJUnit</artifactId>
        <version>1.0</version>
    
        <dependencies>
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.11</version>
                <scope>test</scope>
            </dependency>
            <dependency>
                <groupId>log4j</groupId>
                <artifactId>log4j</artifactId>
                <version>1.2.17</version>
                <scope>compile</scope>
            </dependency>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-core</artifactId>
                <version>1.0.4</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hbase</groupId>
                <artifactId>hbase</artifactId>
                <version>0.94.5</version>
            </dependency>
        </dependencies>
    
    </project>

三、遇到的问题

This server is in the failed servers list: localhost/127.0.0.1:60718

出现该问题的原因是没有在服务端配置主机名和真实ip的映射，因此需要再/etc/hosts中加上10.1.102.104 ccf04（ccf04为服务器的主机名）

同时，需要在你跑程序的机器上添加ccf04的映射，我的是在windows上跑的java程序，需要修改windows的host文件，最后一行加入10.1.102.104 ccf04即可