读取Mysql数据到Redis

逃离我推掉我的手 2022-11-04 15:22 189阅读 0赞

**目标**  
将mysql中itcast\_shop数据库中的itcast\_goods选取几个字段写入redis中  
**依赖**

<dependencies>
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>5.1.47</version>
            </dependency>
    
            <dependency>
                <groupId>redis.clients</groupId>
                <artifactId>jedis</artifactId>
                <version>2.9.3</version>
            </dependency>
    
            <dependency>
                <groupId>com.typesafe</groupId>
                <artifactId>config</artifactId>
                <version>1.3.0</version>
            </dependency>
      
           <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>fastjson</artifactId>
                <version>1.2.68</version>
            </dependency>
    
        </dependencies>

**样例类**

// 商品维度样例类
    case class DimGoodsDBEntity(@BeanProperty goodsId:Long,		// 商品id
                                @BeanProperty goodsName:String,	// 商品名称
                                @BeanProperty shopId:Long,			// 店铺id
                                @BeanProperty goodsCatId:Int,   // 商品分类id
                                @BeanProperty shopPrice:Double) // 商品价格

在配置文件中添加Redis配置、MySQL配置  
resouces下建立application.conf

# Redis配置
    redis.server.ip="192.168.121.140"
    redis.server.port=6379
    
    # MySQL配置
    mysql.server.ip="hadoop102"
    mysql.server.port=3306
    mysql.server.database="itcast_shop"
    mysql.server.username="root"
    mysql.server.password="000000"

**编写配置工具类**

import com.typesafe.config.{ Config, ConfigFactory}
    
    object GlobalConfigUtil { 
      private val config: Config = ConfigFactory.load()
    
      val `mysql.server.ip` = config.getString("mysql.server.ip")
      val `mysql.server.port` = config.getString("mysql.server.port")
      val `mysql.server.database` = config.getString("mysql.server.database")
      val `mysql.server.username` = config.getString("mysql.server.username")
      val `mysql.server.password` = config.getString("mysql.server.password")
      
      val `redis.server.ip` = config.getString("redis.server.ip")
      val `redis.server.port`: String = config.getString("redis.server.port")
    
     def main(args: Array[String]): Unit = { 
        println(`mysql.server.ip`)
        println(`mysql.server.port`)
        println(`mysql.server.database`)
        println(`mysql.server.password`)
        println(`redis.server.ip`)
        println(`redis.server.port`)
      }
    }

**编写Redis操作工具类**

import redis.clients.jedis.{ JedisPool, JedisPoolConfig}
    
    object RedisUtil { 
      val config = new JedisPoolConfig()
    
      //是否启用后进先出, 默认true
      config.setLifo(true)
      //最大空闲连接数, 默认8个
      config.setMaxIdle(8)
      //最大连接数, 默认8个
      config.setMaxTotal(1000)
      //获取连接时的最大等待毫秒数(如果设置为阻塞时BlockWhenExhausted),如果超时就抛异常, 小于零:阻塞不确定的时间, 默认-1
      config.setMaxWaitMillis(-1)
      //逐出连接的最小空闲时间 默认1800000毫秒(30分钟)
      config.setMinEvictableIdleTimeMillis(1800000)
      //最小空闲连接数, 默认0
      config.setMinIdle(0)
      //每次逐出检查时 逐出的最大数目 如果为负数就是 : 1/abs(n), 默认3
      config.setNumTestsPerEvictionRun(3)
      //对象空闲多久后逐出, 当空闲时间>该值 且 空闲连接>最大空闲数 时直接逐出,不再根据MinEvictableIdleTimeMillis判断 (默认逐出策略)
      config.setSoftMinEvictableIdleTimeMillis(1800000)
      //在获取连接的时候检查有效性, 默认false
      config.setTestOnBorrow(false)
      //在空闲时检查有效性, 默认false
      config.setTestWhileIdle(false)
    
      //初始化redis连接池对象
      var jedisPool: JedisPool = new JedisPool(config, GlobalConfigUtil.`redis.server.ip`, GlobalConfigUtil.`redis.server.port`.toInt)
    
      /** * 获取Redis连接 * @return */
      def getJedis() = { 
        jedisPool.getResource
      }
    }
    
    
    //import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig}
    //
    使用redis连接池的工具类，该工具类主要是针对redis的单机环境
    如果大家需要在redis分布式集群环境运行的话，这个代码不适用
    //object RedisUtil { 
    // //定义redis的配置对象
    // val config = new JedisPoolConfig()
    // config.setMaxTotal(1000) //设置最大的连接数
    // config.setMaxIdle(8) //设置最大的空闲连接数
    //
    // //实例化redis连接池对象
    // private lazy val pool = new JedisPool(config, GlobalConfigUtil.`redis.server.ip`, GlobalConfigUtil.`redis.server.port`.toInt)
    //
    // //获取一个redis的连接对象
    // def getJedis()= { 
    // val jedis: Jedis = pool.getResource
    // //返回jedis对象
    // jedis
    // }
    //}

**读取MySQL商品维度数据到Redis**  
实现步骤：  
1、先从MySQL的 itcast\_goods 表中加载数据  
2、将数据保存到键为 itcast\_goods:dim\_goods 的 HASH 结构中  
3、关闭资源

import java.sql.{ Connection, DriverManager}
    import com.alibaba.fastjson.JSON
    import com.alibaba.fastjson.serializer.SerializerFeature
    import redis.clients.jedis.Jedis
    
    
    /** * 维度表数据的全量装载实现类 * 需要将一下五个维度表数据同步到redis中 * 1.商品维度表 * 2.商品分类维度表 * 3.店铺表 * 4.维度机构表 * 5.门店商品分类表 */
    object DimentsionDataLoader { 
      def main(args: Array[String]): Unit = { 
        //1.注册mysql的驱动
        Class.forName("com.mysql.jdbc.Driver")
    
        //2.创建连接
        val connection: Connection = DriverManager.getConnection(s"jdbc:mysql://${GlobalConfigUtil.`mysql.server.ip`}:${GlobalConfigUtil.`mysql.server.port`}/" +
          s"${GlobalConfigUtil.`mysql.server.database`}?useSSL=false",
          GlobalConfigUtil.`mysql.server.username`,
          GlobalConfigUtil.`mysql.server.password`
        )
    
        //3.创建redis连接
        val jedis: Jedis = RedisUtil.getJedis()
        //redis中默认有16个数据库，需要指定一下维度数据保存到那个数据库中，默认是保存到第一个数据库
        //jedis.select(1)
    
        //4.加载维度表的数据到redis中
        //1 商品维度表
        LoadDimGoods(connection, jedis)
    
      }
      def LoadDimGoods(connection:Connection,jedis: Jedis): Unit ={ 
        //定义sql查询语句
        val sql =
          """ |SELECT | goodsid, | goodsName, | shopid, | goodsCatid, | shopprice |FROM itcast_goods |""".stripMargin
        //创建statement
        val statement = connection.createStatement
        val resultSet = statement.executeQuery(sql)
    
        //遍历商品表的数据
        while (resultSet.next()){ 
          val goodsId = resultSet.getLong("goodsId")
          val goodsName = resultSet.getString("goodsName")
          val shopId = resultSet.getLong("shopId")
          val goodsCatId = resultSet.getInt("goodsCatId")
          val shopPrice = resultSet.getDouble("shopPrice")
    
          //需要将获取到的商品维度表写入到redis中
          //redis是一个kv数据库，需要将以上五个字段封装成json字符串
          val goodsDBEntity = DimGoodsDBEntity(goodsId, goodsName, shopId, goodsCatId, shopPrice)
    
          //有样例类转换成json字符串写入到redis中
          val json = JSON.toJSONString(goodsDBEntity,SerializerFeature.DisableCircularReferenceDetect)
    
          jedis.hset("itcast_shop:dim_goods",goodsId.toString,json)
          println(json)
        }
        resultSet.close()
        statement.close()
    
      }
    
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221023/dc012bd211174345b454423f6815134c.png