spark连接mysql(scala)版本

素颜马尾好姑娘i 2023-10-09 09:34 34阅读 0赞

最近在了解学习大数据相关的内容，然后一般来说。连接数据库或者Hive等数据源是比较重要的部分，所以在这里先尝试了使用mysql作为数据源来连接并在控制台展示数据

val conf = new SparkConf().setAppName("SparkMysql").setMaster("local")
        val sc = new SparkContext(conf)
        val sqlContext = new SQLContext(sc)
        val properties = new Properties()
        properties.put("user","root")
        properties.put("password","root")
        val url = "jdbc:mysql://localhost:3306/imooc-video?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
        val stud_scoreDF = sqlContext.read.jdbc(url,"bgm",properties)
        stud_scoreDF.show()

其中第一行最后的setMaster选择模式比较重要。因为此时我们并没有放到spark上去运行，仅仅只是本地运行。所以这里要指定运行模式为local。。否则会出现错误

> org.apache.spark.SparkException: A master URL must be set in your config

最后从数据库取出的数据展示如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvemhlbi5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvemhlbi5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190924221236806.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly96aGFvemhlbi5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，34人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark连接mysql(scala)版本

最近在了解学习大数据相关的内容，然后一般来说。连接数据库或者Hive等数据源是比较重要的部分，所以在这里先尝试了使用mysql作为数据源来连接并在控制台展示数据 va

素颜马尾好姑娘i/ 2023年10月09日 09:34/ 0 赞/ 35 阅读

相关 JAVA、Spark、Python连接Redis

前面已经详细的和大家说过Redis，接下来就和大家说下Redis和其它得集成，以及如何操作Redis: 首先说下Java时如何操作redis： JAVA连接Redis

朱雀/ 2022年12月02日 12:21/ 0 赞/ 140 阅读

相关运行python版本的Spark程序

两种方法： 1. 使用 spark-submit 解释执行python脚本 2. 使用 python 解释执行python脚本 1. 使用Spark-submit

青旅半醒/ 2022年07月29日 08:46/ 0 赞/ 190 阅读

相关 spark与kafka连接测试

测试环境：scala版本为2.11.8,jdk版本为java1.7.79 搭建的工程为maven工程，所需要的依赖有： <dependency>

叁歲伎倆/ 2022年07月12日 23:28/ 0 赞/ 133 阅读

相关 spark单机版本的搭建

首先配置ssh localhost 确保安装好ssh： sudoapt−getupdate sudo apt-get install openssh-server $

喜欢ヅ旅行/ 2022年06月07日 10:53/ 0 赞/ 184 阅读

相关 sparklyr连接spark

1，安装sparklyr RStudio安装好后，需要安装sparklyr包来连接spark；https://spark.rstudio.com/guides/connect

小鱼儿/ 2022年05月25日 13:35/ 0 赞/ 121 阅读

相关 cloudera manager安装CDH版本的spark 无法连接解决办法

前提：在很久很久以前，搭了一套cloudera manger 的集群，全组件安装上之后，一直没有使用spark ，安装时出现了很多问题，这个权限不足，那个权限不足的，到最后只将

旧城等待，/ 2022年05月24日 14:08/ 0 赞/ 547 阅读

相关 Spark 连接Hive 表格失败

spark 连接hive 在Windows本地跑不动，报错如下。只需要把jar 运行的jar 包打包，放到linux 上即可。 2018-06-11 08:56

迈不过友情╰/ 2022年05月21日 23:26/ 0 赞/ 269 阅读

相关 spark 版本过高，版本不对应

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SparkSe

偏执的太偏执、/ 2022年05月20日 03:23/ 0 赞/ 282 阅读

相关 spark直接连接postgre数据库

注意点：数据存入Mysql或是postgre注意事项 A. 尽量先设置好存储模式默认为SaveMode.ErrorIfExists模式，该模式下，如果数据库中已经

Myth丶恋晨/ 2022年04月23日 15:54/ 0 赞/ 198 阅读