Spark SQL将数据写入Mysql表的一些坑

快来打我* 2022-05-15 04:24 241阅读 0赞

转自:[https://blog.csdn.net/dai451954706/article/details/52840011/][https_blog.csdn.net_dai451954706_article_details_52840011]

最近，在使用Spark SQL分析一些数据，要求将分析之后的结果数据存入到相应的MySQL表中。

但是将数据处理完了之后，存入Mysql时，报错了：

![Center][]

代码的基本形式为:

1.  `val r1: Dataset[Row] = data.groupBy(***)...`
2.   
3.  `r1.write.jdbc(url,"iptimecount",prop)`

根据图片中的报错，搜索资料，得知是由于Spark SQL 中的Save Mode导致的，[Spark SQL的官方文档][Spark SQL]中对Savemode进行了说明：

默认情况下，使用SaveMode.ErrorIfExists，也就是说，当从Spark中插入到MySQL表中的时候，如果表已经存在，则直接报错，想想真觉得这默认值有点坑。

于是修改Savemode，将代码改成:

r1.write.mode(SaveMode.Append).jdbc(url,"iptimecount",prop)

再次执行，本以为应该会顺利存入到数据库中了，没想到还是报错：

![Center 1][]

看到这个错误，我有点茫然，不清楚是哪里的问题。

后来，在一次测试中，将MySQL中将原来的表格删除后，再次提交任务，能顺利将数据存入到MySQL中，但是，使用desc查看表的结构，发现在Spark SQL中列类型为String类型的，在MySQL中对应为Text类型，于是我猜测应该是我之前创建的表格中，将列的类型定义为char和varchar导致的。

于是，我删除表格，重新创建表格，将char和varchar类型改为Text，再次执行，顺利的将数据从Spark SQL中存入到了Mysql.

另附一些注意事项：

数据存入Mysql注意事项

A. 尽量先设置好存储模式

默认为**SaveMode.ErrorIfExists**模式，该模式下，如果数据库中已经存在该表，则会直接报异常，导致数据不能存入数据库.另外三种模式如下：

SaveMode.Append 如果表已经存在，则追加在该表中；若该表不存在，则会先创建表，再插入数据；

SaveMode.Overwrite 重写模式，其实质是先将已有的表及其数据全都删除，再重新创建该表，最后插入新的数据；

SaveMode.Ignore 若表不存在，则创建表，并存入数据；在表存在的情况下，直接跳过数据的存储，不会报错。

B. 设置存储模式的步骤为:

org.apache.spark.sql.SaveMode

......

df.write.mode(SaveMode.Append)

C. 若提前在数据库中手动创建表，需要注意列名称和数据类型，

下面的源码说明了，需要保证Spark SQL中schema中的field name与Mysql中的列名称一致！

![Center 2][]

若提前手动创建Mysql表，需要注意Spark SQL 中Schema中的数据类型与Mysql中的数据类型的对应关系，如下图所示：

![Center 3][]

特别注意: Scala中的String类型，在MySQL中对应的是Text类型（经过亲自测试所知）

上面是本人在Spark SQL 读取与写入Mysql方面的遇到的一些坑，特在此备忘。

[https_blog.csdn.net_dai451954706_article_details_52840011]: https://blog.csdn.net/dai451954706/article/details/52840011/
[Center]: /images/20220515/0667955ed72a4a54aa119b0de47353ac.png
[Spark SQL]: http://spark.apache.org/docs/latest/sql-programming-guide.html#save-modes
[Center 1]: /images/20220515/c11104604f6d47cf9cde031cf7e8495b.png
[Center 2]: /images/20220515/99c77fe1b14940799727facfa7c57356.png
[Center 3]: /images/20220515/0d261e5fd2bd4e93a01c3c6312700aaa.png