flinkSql join redis的hash结构维表简单实现

╰+攻爆jí腚メ 2022-12-23 00:34 255阅读 0赞

以下是阿里云的blinksql的demo
    
    CREATE TABLE source_table (
      --必须和Kafka源表中的5个字段的顺序保持一致。
      messageKey VARBINARY,
      `message` VARBINARY,
      `topic` VARCHAR,
      `partition` INT,
      `offset` BIGINT
    ) WITH (
      `type` = 'kafka011',
      `topic` = 'kafka_test',
      `group.id` = 'kafka_test_wpp',
      `bootstrap.servers` = 'xx.xx.xx:9092'
     -- `startupMode` = 'TIMESTAMP'
    );
    
    
    
    create table redis_dim (
        id VARCHAR,
        name VARCHAR,
        PRIMARY KEY (id), 
        PERIOD FOR SYSTEM_TIME
      ) with (
      type = 'redis',
      host = '127.0.0.1',
      port = '6379',
      dbNum = '0',
      password = 'pass',
      hashName='hashtest'
    );
    
    
    create table sink_print2(
        mes varchar,
        name VARCHAR
    )with(
        type='print'
    );
    
    
    
    insert into sink_print2 
    SELECT 
    cast (e.`message` as varchar),
     w.name
    from source_table as e left join redis_dim FOR SYSTEM_TIME AS OF PROCTIME() AS w
    on cast(e.message as varchar )  = w.id
    ;

维表join相关测试案例

flinksql正则表达式

REGEXP\_EXTRACT(\`acm\`, 'cid\_\\\\d+', 0) AS regex\_cid2,

REGEXP\_EXTRACT(\`acm\`, '(cid\_\\\\d+)', 1) AS regex\_cid3,

发表评论取消回复

表情：

评论列表（有 0 条评论，255人围观）

还没有评论，来说两句吧...

相关阅读

相关数据结构hash表

看一个实际需求，google公司的一个上机题: 有一个公司,当有新的员工来报道时,要求将该员工的信息加入(id,性别,年龄,住址..),当输入该员工的id时,要求查找到该员

╰+哭是因爲堅強的太久メ/ 2023年10月11日 12:50/ 0 赞/ 32 阅读

相关 ThinkPHP5 简单使用Redis中的hash表存储数据

如果TP5想要使用redis缓存，首先要修改config中的缓存设置； 'cache' => [ // 使

本是古典何须时尚/ 2023年02月24日 12:26/ 0 赞/ 53 阅读

相关 hash join

其他参考： https://www.cnblogs.com/xqzt/p/4469673.html https://www.cnblogs.com/shangyu/p/

冷不防/ 2023年01月17日 14:52/ 0 赞/ 137 阅读

相关 flinkSql join redis的hash结构维表简单实现

以下是阿里云的blinksql的demo CREATE TABLE source_table ( --必须和Kafka源表中的5个字段的顺

╰+攻爆jí腚メ/ 2022年12月23日 00:34/ 0 赞/ 256 阅读

相关转载，维表join详解

维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通

Love The Way You Lie/ 2022年12月04日 01:03/ 0 赞/ 301 阅读

相关 blinksql 通过维表关联实现hash结构的数据管理

1、相关sql如下： CREATE TABLE source_table ( --必须和Kafka源表中的5个字段的顺序保持一致。 messa

矫情吗；*/ 2022年10月05日 00:57/ 0 赞/ 117 阅读

相关表连接总结--Hash Join

from：http://trophy.iteye.com/blog/1416410 在Oracle中，确定连接操作类型是[执行计划][Link 1]生成的重要方面。各种连接操

r囧r小猫/ 2022年09月25日 11:24/ 0 赞/ 185 阅读

相关数据结构之hash表，HashMap简单实现

Hash表概念在查找表中我们已经说过，在Hash表中，记录在表中的位置和其关键字之间存在着一种确定的关系。这样我们就能预先知道所查关键字在表中的位置，从而直接通过下

左手的ㄟ右手/ 2022年08月06日 06:05/ 0 赞/ 175 阅读

相关 Redis（6）--Redis的数据结构之Hash

1 hash 类型新的存储需求：对一系列存储的数据进行编组，方便管理，典型应用存储对象信息。需要的存储结构：一个存储空间保存多个键值对数据。 has

- 日理万妓/ 2022年05月29日 02:35/ 0 赞/ 236 阅读

相关 FlinkSQL MySQL维表关联

> 需求：消费Kafka数据，进行数据清洗及维表关联补齐字段，结果数据写入Kafka。 import java.time.Duration imp

迈不过友情╰/ 2021年09月24日 21:06/ 0 赞/ 759 阅读