Spark读取jdbc

﹏ヽ暗。殇╰゛Y 2024-03-22 21:27 43阅读 0赞

/* SimpleApp.java */
    
    import org.apache.spark.api.java.function.FilterFunction;
    import org.apache.spark.sql.Dataset;
    import org.apache.spark.sql.Row;
    import org.apache.spark.sql.SparkSession;
    
    /**
     * 计算文件中分别包含a和b的行数
     */
    public class JdbcReadApp {
        public static void main(String[] args) throws InterruptedException {
            /*
            local 本地单线程
            local[K] 本地多线程（指定K个内核）
            local[*] 本地多线程（指定所有可用内核）
            spark://HOST:PORT 连接到指定的  Spark standalone cluster master，需要指定端口。
            mesos://HOST:PORT 连接到指定的  Mesos 集群，需要指定端口。
            yarn-client客户端模式 连接到  YARN 集群。需要配置 HADOOP_CONF_DIR。
            yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
             */
            //本地运行要设置spark.master为local或在VM options中输入“-Dspark.master=local”
            // spark-shell --master local
            System.setProperty("spark.master", "local");
    //        System.setProperty("spark.master", "local[2]");
            SparkSession spark = SparkSession.builder().appName("JdbcRead Application").getOrCreate();
    
            Dataset<Row> logData = spark.read().format("jdbc")
                    .option("url", "jdbc:mysql://192.168.129.102:3306/mydbname")
                    .option("driver", "com.mysql.jdbc.Driver")
                    .option("dbtable", "userTable")
                    .option("user", "root")
                    .option("password", "123456")
                    .load();
    
            long count = logData.count();
            System.out.println("Lines count: " + count );
    //        System.out.println("lines : " + logData.toString());
            logData.show();
            //暂不退出main,方便使用http://127.0.0.1:4040/ 进行查看
            Thread.sleep(1000*60*10);
    
            spark.stop();
        }
    }

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <groupId>edu.berkeley</groupId>
        <artifactId>simple-project</artifactId>
        <modelVersion>4.0.0</modelVersion>
        <name>Simple Project</name>
        <packaging>jar</packaging>
        <version>1.0</version>
    
        <properties>
            <maven.compiler.source>8</maven.compiler.source>
            <maven.compiler.target>8</maven.compiler.target>
        </properties>
        <dependencies>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-sql_2.12</artifactId>
                <version>3.1.2</version>
            </dependency>
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>8.0.27</version>
            </dependency>
        </dependencies>
    </project>