使用Spark SQL的临时表解决一个小问题

拼搏现实的明天。 2022-04-06 11:59 192阅读 0赞

最近在使用spark处理一个业务场景时，遇到一个小问题，我在scala代码里，使用spark sql访问hive的表，然后根据一批id把需要的数据过滤出来，本来是非常简单的需求直接使用下面的伪SQL即可：

````
    select * from table where  id in (id1,id2,id3,id4,idn)
    ````

但现在遇到的问题是id条件比较多，大概有几万个，这样量级的in是肯定会出错的，看网上文章hive的in查询超过3000个就报错了。  
  
如何解决？  
  
主要有两种解决方法：  
  
  
（一）分批执行，就是把几万个id，按3000一组查询一次，最后把所有的查询结果在汇合起来。  
  
  
（二）使用join，把几万个id创建成一张hive表，然后两表关联，可以一次性把结果给获取到。  
  
  
这里倾向于第二种解决办法，比较灵活和方便扩展，尽量不要把数据集分散，一旦分散意味着客户端需要做更多的工作来合并结果集，比如随便一个sum或者dinstict，如果是第一种则需要在最终的结果集再次sum或者distinct。  
  
  
下面看看如何使用第二种解决：  
  
  
由于我们id列表是动态的，每个任务的id列表都有可能变换，所以要满足第二种方法，就得把他们变成一张临时表存储在内存中，当spark任务停止时，就自动销毁，因为他们不需要持久化到硬盘上。  
  
在spark中使用临时表是非常简单的，我们只需要把id列表的数据放入rdd中，然后再把rdd注册成一个张表，就可以和hive库里面已有的表做各种join操作了，一个demo代码如下：

````
    import org.apache.spark.sql.SparkSession
    
    
    object SparkSQLJoinDemo {
       
    
      def main(args: Array[String]): Unit = {
       
    
        val spark=SparkSession//
          .builder()
          .appName(" spark sql demo ")
          .enableHiveSupport().getOrCreate()
    
        import spark.implicits._
        import spark.sql
    
        sql(" use  hivedb ")//指定hive的db库
    
        val ids="1,2,3,4,5"//模拟的id列表
    
        val data=ids.split(",").toSeq//转化成Seq结构
    
        val school_table=spark.sparkContext.makeRDD(data).toDF("id")//指定列名
    
        school_table.createOrReplaceTempView("temp_table")//在spark的内存里面创建一张临时表
    
        //这里假设hive_table是存在hive里面的一张表
        val xr=sql("select * from hive_table where hive_id=id")
    
        println("数据量："+xr.count()) //打印数据量
    
        spark.close()//close
    
    
      }
    
    }
    
    ````

上面代码里的ids，就是我们需要转化成内存表的数据，然后需要转成Seq，并生成RDD，再通过RDD转成DataFrame，注意如果要使用DF，需要导入 import spark.implicits.\_包下面的函数，这样就能隐式的直接转成DF，在转成DF的同时，我们给数据指定了列名叫id，这里如果有多列，后面可以继续逗号分隔，添加多个列名，最终我们给它注册成了内存临时表，然后在下面的语句中就可以直接使用hive里面存在的表与内存表进行join，最终我们打印一下成功join后数量，可以验证下程序是否正常运行。  
  
\[b\]\[color=green\]\[size=large\] 有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。 技术债不能欠，健康债更不能欠， 求道之路，与君同行。 \[/size\]\[/color\]\[/b\] \[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]