avro的简单使用

约定不等于承诺〃 2022-05-19 23:08 226阅读 0赞

和protobuf类似，在使用avro的时候首先需要进行编译，通过schema编译出对应的java类文件。

但是有一点好处是，可以直接在项目中进行编译，不用每次都使用命令行进行编译。

（可以对比一下protobuf，在使用protobuf的时候对schema文件要用protoc进行编译，然后放在工程里运行）

本文主要参考：

[http://avro.apache.org/docs/current/gettingstartedjava.html][http_avro.apache.org_docs_current_gettingstartedjava.html]

1、首先添加maven依赖：

<?xml version="1.0" encoding="UTF-8"?>
    
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>com.xueyou.avro.demo</groupId>
        <artifactId>avrodemo</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <name>avrodemo</name>
        
        <url>http://www.example.com</url>
    
        <properties>
            <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
            <maven.compiler.source>1.7</maven.compiler.source>
            <maven.compiler.target>1.7</maven.compiler.target>
        </properties>
    
        <dependencies>
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.11</version>
                <scope>test</scope>
            </dependency>
            <dependency>
                <groupId>org.apache.avro</groupId>
                <artifactId>avro</artifactId>
                <version>1.8.2</version>
            </dependency>
        </dependencies>
    
        <build>
            <plugins>
                <plugin>
                    <groupId>org.apache.avro</groupId>
                    <artifactId>avro-maven-plugin</artifactId>
                    <version>1.8.2</version>
                    <executions>
                        <execution>
                            <phase>generate-sources</phase>
                            <goals>
                                <goal>schema</goal>
                            </goals>
                            <configuration>
                                <sourceDirectory>${project.basedir}/src/main/avro</sourceDirectory>
                                <outputDirectory>${project.basedir}/src/main/java</outputDirectory>
                            </configuration>
                        </execution>
                    </executions>
                </plugin>
            </plugins>
            <pluginManagement>
                <plugins>
                    <plugin>
                        <artifactId>maven-clean-plugin</artifactId>
                        <version>3.0.0</version>
                    </plugin>
                    
                    <plugin>
                        <artifactId>maven-resources-plugin</artifactId>
                        <version>3.0.2</version>
                    </plugin>
                    <plugin>
                        <artifactId>maven-compiler-plugin</artifactId>
                        <version>3.7.0</version>
                    </plugin>
                    <plugin>
                        <artifactId>maven-surefire-plugin</artifactId>
                        <version>2.20.1</version>
                    </plugin>
                    <plugin>
                        <artifactId>maven-jar-plugin</artifactId>
                        <version>3.0.2</version>
                    </plugin>
                    <plugin>
                        <artifactId>maven-install-plugin</artifactId>
                        <version>2.5.2</version>
                    </plugin>
                    <plugin>
                        <artifactId>maven-deploy-plugin</artifactId>
                        <version>2.8.2</version>
                    </plugin>
                </plugins>
            </pluginManagement>
        </build>
    </project>

2、然后我们需要定义一个.avsc的schema文件，user.avcs。

{"namespace": "com.xueyou.avro.demo",
     "type": "record",
     "name": "User",
     "fields": [
         {"name": "name", "type": "string"},
         {"name": "favorite_number",  "type": ["int", "null"]},
         {"name": "favorite_color", "type": ["string", "null"]}
     ]
    }

这里需要说明的是namespace就是包名，name就是类名。

我们使用mvn compile命令进行编译，然后就能看到新生成的User.java类了。

![70][]

这是现在的工程目录结构。

下面，我们简答的使用一下User类。

package com.xueyou.avro.demo;
    
    /**
     * Hello world!
     */
    public class App {
        public static void main(String[] args) {
            System.out.println("Hello World!");
            User user = User.newBuilder().setName("xiaoming")
                    .setFavoriteNumber(12)
                    .setFavoriteColor("blue")
                    .build();
            User user2 = User.newBuilder().setName("xiaogang")
                    .setFavoriteColor(null)
                    .setFavoriteNumber(null)
                    .build();
            System.out.println(user);
            System.out.println(user2);
        }
    }

运行结果：

![70 1][]

[http_avro.apache.org_docs_current_gettingstartedjava.html]: http://avro.apache.org/docs/current/gettingstartedjava.html
[70]: /images/20220520/2bcdd61d325540839bb053eb8b7ac79f.png
[70 1]: /images/20220520/58b86534a8704a758b48385f4c1a7862.png