easy-upsert-starter 轻量级数据转换存储服务-HBase使用(三)

心已赠人 2021-09-21 23:34 138阅读 0赞

### Easy-upsert-starter 轻量级数据转换存储服务-HBase使用 ###

*  简介
 *  快速开始
 *  初始化工程
 *  引入依赖
 *  HBase配置文件配置
 *  编码
 *  开始使用
 *   *  使用IUpsert进行数据操作
     *  使用注解实现数据插入
     *  EasyHashMap数据操作
     *  复杂数据操作(操作的数据为ExtractBo中两个字段被@SmartMark修饰类型为Object的非基本数据类型)
     *  更复杂数据操作(操作的数据为MoreExtractBo中四个字段被@SmartMark修饰类型为Object的非基本数据类型)
 *  注解
 *   *   *  @EasySmart
         *  @EasySmartField
     *  同时支持@EasyUpsertDS、@QuickEasyUpsert
 *  核心功能
 *  模版地址

# 简介 #

针对轻量级数据(单次包数据量10万)处理，提供数据转移存储到MySQL、Kafka、ES、HBase、Redis 配置相应的数据源，注入IUpser对象并使用upsert方法

# 快速开始 #

我们将通过一个简单的 Demo 来阐述 Upsert功能，在此之前，我们假设您已经：

拥有 Java 开发环境以及相应 IDE  
熟悉 Spring Boot  
熟悉 Maven

# 初始化工程 #

创建一个空的 Spring Boot 工程

可以使用 Spring Initializer (opens new window)快速初始化一个 Spring Boot 工程

# 引入依赖 #

引入 Spring Boot Starter 父工程：

<parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.4.4</version>
        <relativePath/>
    </parent>

<dependencies>
        <dependency>
            <groupId>top.wu2020</groupId>
            <artifactId>wu-easy-upsert-starter</artifactId>
        </dependency>
    </dependencies>

引入 spring-boot-starter、wu-easy-upsert-starter依赖：

# HBase配置文件配置 #

spring:
      hbase:
        zookeeper-quorum: "zookeeper1:2181,zookeeper2:2181"

# 编码 #

编写实体类 UserLog.java（此处使用了 Lombok 简化代码）

@Data
    @EasySmart(perfectTable = true)
    public class UserLog {
     
        private Integer userId;
     
        @EasySmartField(name = "`current_time`")
        private LocalDateTime currentTime;
     
        @EasySmartField(name = "`content`")
        private String content;
     
        @EasySmartField(name = "is_succeed")
        private boolean isSucceed;
     
        private String type;
     
    }

# 开始使用 #

## 使用IUpsert进行数据操作 ##

/**
         * description IUpsert操作数据入DB
         *
         * @param
         * @return
         * @exception/throws
         * @author Jia wei Wu
         * @date 2021/4/15 上午9:50
         */
        @EasyUpsertDS(type = EasyUpsertType.HBASE)
        @ApiOperation(tags = "HBase数据快速插入", value = "IUpsert操作数据入HBase")
        @GetMapping()
        public List<UserLog> upsert(@RequestParam(required = false, defaultValue = "100") Integer size) {
            List<UserLog> userLogList = createUserLog(size);
            iUpsert.upsert(userLogList, userLogList, new UserLog());
            return userLogList;
        }

## 使用注解实现数据插入 ##

/**
         * description 使用注解实现数据插入
         *
         * @param
         * @return
         * @exception/throws
         * @author Jia wei Wu
         * @date 2021/4/19 上午10:11
         */
        @QuickEasyUpsert(type = EasyUpsertType.HBASE)
        @ApiOperation(tags = "HBase数据快速插入", value = "使用注解实现数据插入")
        @GetMapping("/size")
        public List<UserLog> upsertSize(@RequestParam(required = false, defaultValue = "100") Integer size) {
            return createUserLog(size);
        }

## EasyHashMap数据操作 ##

@QuickEasyUpsert(type = EasyUpsertType.HBASE)
        @ApiOperation(tags = "HBase数据快速插入", value = "复杂数据EasyHashMap")
        @GetMapping("/easyHashMap")
        public List<EasyHashMap> easyHashMap(@RequestParam(required = false, defaultValue = "1000") Integer size) {
            List<EasyHashMap> easyHashMapList = new ArrayList<>();
            for (int i = 0; i < size; i++) {
                EasyHashMap easyHashMap = new EasyHashMap("uniqueLabel");
                easyHashMap.put("第一个字段", "第一个字段");
                easyHashMap.put("第二个字段", "第二个字段");
                easyHashMap.put("第三个字段", "第三个字段");
                easyHashMap.put("第四个字段", "第四个字段");
                easyHashMapList.add(easyHashMap);
            }
            return easyHashMapList;
        }

## 复杂数据操作(操作的数据为ExtractBo中两个字段被@SmartMark修饰类型为Object的非基本数据类型) ##

@QuickEasyUpsert(type = EasyUpsertType.HBASE)
        @ApiOperation(tags = "HBase数据快速插入", value = "复杂数据DB")
        @GetMapping("/complexData")
        public ExtractBo complexData() {
            UserLog userLog = new UserLog();
            userLog.setCurrentTime(LocalDateTime.now());
            userLog.setContent("创建时间:" + userLog.getCurrentTime());
            userLog.setUserId(1);
    
            UseExcel useExcel = new UseExcel();
            useExcel.setCurrentTime(LocalDateTime.now());
            useExcel.setDesc("默认方式导出数据");
            useExcel.setExcelId(2);
            useExcel.setType("默认方式双注解导出");
    
            ExtractBo extractBo = new ExtractBo();
            extractBo.setUserLog(userLog);
            extractBo.setUseExcel(useExcel);
    
            val lists = extractData(null, extractBo);
            return extractBo;
        }

## 更复杂数据操作(操作的数据为MoreExtractBo中四个字段被@SmartMark修饰类型为Object的非基本数据类型) ##

@QuickEasyUpsert(type = EasyUpsertType.HBASE)
        @ApiOperation(tags = "HBase数据快速插入", value = "复杂数据DB")
        @GetMapping("/moreExtractBo")
        public MoreExtractBo moreExtractBo() {
            MoreExtractBo moreExtractBo = new MoreExtractBo();
            ExtractBo extractBo = complexData();
            moreExtractBo.setExtractBo(extractBo);
            moreExtractBo.setUseExcel(extractBo.getUseExcel());
            moreExtractBo.setUserLog(extractBo.getUserLog());
            moreExtractBo.setUserLogList(createUserLog(1000));
            return moreExtractBo;
        }
        /**
         * description 创建测试数据
         *
         * @param
         * @return
         * @exception/throws
         * @author Jia wei Wu
         * @date 2021/4/19 上午10:09
         */
        public List<UserLog> createUserLog(Integer size) {
            List<UserLog> userLogList = new ArrayList<>();
            size = size == null ? 10000 : size;
            for (int i = 0; i < size; i++) {
                UserLog userLog = new UserLog();
                userLog.setCurrentTime(LocalDateTime.now());
                userLog.setContent("创建时间:" + userLog.getCurrentTime());
                userLog.setUserId(i);
                userLogList.add(userLog);
            }
            return userLogList;
        }

# 注解 #

### @EasySmart ###

描述注解 简单灵性数据标注 （HBase表注解）

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>类型</th> 
   <th>必须指定</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>namespace</td> 
   <td>String</td> 
   <td>否</td> 
   <td>default</td> 
   <td>工作空间</td> 
  </tr> 
  <tr> 
   <td>tableName</td> 
   <td>String</td> 
   <td>否</td> 
   <td>类名驼峰转换下划线</td> 
   <td>表名</td> 
  </tr> 
  <tr> 
   <td>columnFamily</td> 
   <td>String</td> 
   <td>否</td> 
   <td>类全名.转换_使用</td> 
   <td>列蔟名</td> 
  </tr> 
  <tr> 
   <td>perfectTable</td> 
   <td>boolean</td> 
   <td>否</td> 
   <td>false</td> 
   <td>当表不存在时默认新增表</td> 
  </tr> 
  <tr> 
   <td>dataDrillDown</td> 
   <td>boolean</td> 
   <td>否</td> 
   <td>false</td> 
   <td>是否支持数据下钻(当类中属性含有@SmartMark并且不是基本数据类型时有效)</td> 
  </tr> 
 </tbody> 
</table>

### @EasySmartField ###

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>类型</th> 
   <th>必须指定</th> 
   <th>默认值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>exist</td> 
   <td>boolean</td> 
   <td>否</td> 
   <td>true</td> 
   <td>字段是否存在</td> 
  </tr> 
  <tr> 
   <td>name</td> 
   <td>String</td> 
   <td>否</td> 
   <td>属性名驼峰转换下划线</td> 
   <td>字段名</td> 
  </tr> 
  <tr> 
   <td>indexType</td> 
   <td>enum</td> 
   <td>否</td> 
   <td>FILE_TYPE</td> 
   <td>字段索引类型</td> 
  </tr> 
 </tbody> 
</table>

## 同时支持@EasyUpsertDS、@QuickEasyUpsert ##

# 核心功能 #

iUpsert.upsert();

# [模版地址][Link 1] #

[Link 1]: https://gitee.com/wujiawei1207537021/wu-framework-parent/tree/master/wu-easy-parent/wu-easy-temple