关于通过Asvc生成测试数据(Avro/Parquet)的工具类小结

╰+哭是因爲堅強的太久メ 2022-10-27 05:16 19阅读 0赞

**目录**

1. Avsc和Avro的关系

2. Avsc生成Java类

3. 根据Java类生成Avro格式的测试数据

3.1 Avsc的schema types

3.2 Complex type的使用

3.3 生成测试数据

--------------------

# 1. Avsc和Avro的关系 #

> **AVSC** file is an **Apache Avro** Schema. Avro is a remote procedure call and data serialization framework developed within Apache's Hadoop project. It uses JSON for defining data types and protocols, and serializes data in a compact binary format.

简而言之，Avsc相当于avro的schema，类似于xml格式的schema是xsd。

其实网上有不少相关资料可以通过avro-tools来生成avro数据，但这篇文章主要总结的是包含嵌套关系的avsc。

# 2. Avsc生成Java类 #

1) 下载[avro-tools-1.7.7.jar][]。

2) 创建一个person.asvc：

{
        "namespace": "com.bas.model", 
        "type": "record",
        "name": "Person", 
        "fields": [ 
            {
                "name": "name",
                "type": "string"
            },
            {
                "name": "age",
                "type": "int"
            },
            {
                "name": "gender",
                "type": "string"
            },
            {
                "name": "hometown",
                "type": "string"
            }
        ]
    }

3) 执行：

java -jar avro-tools-1.7.7.jar compile schema person.avsc .

然后生成的java类将会在下一步用来生成avro（生成的类300行就不粘贴了）。

![20210203160846874.png][]

# 3. 根据Java类生成Avro格式的测试数据 #

## 3.1 Avsc的schema types ##

在生成数据之前必须要判断avsc定义的数据类型是什么，否则生成不符合格式的GenericData写不进avro的。

因为网上都是一些很零零散散的介绍，所以一些complex type必须回去看[官网api文档][api]了。**需要源码的话请私聊或评论找我吧**。

*  RECORD：[GenericRecord][]
 *  ENUM：[GenericEnumSymbol][]
 *  ARRAY：[GenericData.Array<T>][GenericData.Array_T]
 *  MAP：[Java Map][]
 *  UNION：
 *  FIXED：[GenericData.Fixed][]
 *  STRING
 *  BYTES：[Java ByteBuffer][]
 *  INT
 *  LONG
 *  FLOAT
 *  DOUBLE
 *  BOOLEAN
 *  NULL

## 3.2 Complex type的使用 ##

1) ENUM。

String symbol = schema.getEnumSymbols().get(0);
    return (R) new GenericData.EnumSymbol(schema, symbol);

2) ARRAY。

try {
    	Schema arraySchema = ReflectData.get().getSchema(Class.forName(schema.getElementType().getNamespace() + "." + schema.getElementType().getName()));
    	GenericData.Array array = new GenericData.Array<>(arraySchema.getFields().size(), schema);
    	array.add(generateData(arraySchema));
    	return (R) array;
    } catch (ClassNotFoundException e) {
    	e.printStackTrace();
    }

3) MAP

Map map = new HashMap<>();
    map.put("value1", generateData(schema.getValueType()));
    return (R) map;

4) FIXED

GenericData.Fixed genericData = new GenericData.Fixed(schema, new byte[]{1, 2, 3});
    return (R) genericData;

## 3.3 生成测试数据 ##

![20210203163459299.png][]

**附**：

1) 关于Avro文件的序列化和反序列化可以参考：[Avro-序列化与反序列化][Avro-]和[利用avsc文件方式的avro序列化和反序列化][avsc_avro]。

2) 关于如何写Avro数据到文件可以参考：[Avro序列化][Avro]。

3) 遇到：java.lang.ClassCastException:xx cannot be cast to org.apache.avro.generic.IndexedRecord，可以参考：[generic.IndexedRecord][]。大概意思就是生成array类型的不符合既定格式。

4) 核心api Code Example之一：[org.apache.avro.reflect.ReflectData][]。

5) 核心api Code Example之二：[org.apache.avro.generic.GenericData][]。

6) 关于包含嵌套类型的asvc解析思路参考：[Avro架构定义嵌套类型][Avro 1]。

7) Apache Flink的方式转化parquet可以参考：[Streaming File Sink][]。

8) 关于csv转成parquet可以参考：[csv2parquet2orc][]或[csv2parquet][]。

9) 查看orc、parquet、avro文件的工具可以用这个：[bigdata-file-viewer][]。

10) 根据parquet查看schema的方式可以用：[Apache Parquet Tools ][Apache Parquet Tools]（java -jar parquet-tools-1.11.1-SNAPSHOT.jar schema test.parquet）。

11) 想要了解parquet数据类型可以参考：[Support for Parquet Files][]。

[avro-tools-1.7.7.jar]: http://archive.apache.org/dist/avro/avro-1.7.7/java/
[20210203160846874.png]: /images/20221024/15ebb3d240d347a09415a1924c82697e.png
[api]: https://avro.apache.org/docs/1.7.7/api/java/org/apache/avro/generic/package-summary.html
[GenericRecord]: https://avro.apache.org/docs/1.7.7/api/java/org/apache/avro/generic/GenericRecord.html
[GenericEnumSymbol]: https://avro.apache.org/docs/1.7.7/api/java/org/apache/avro/generic/GenericEnumSymbol.html
[GenericData.Array_T]: https://avro.apache.org/docs/1.7.7/api/java/org/apache/avro/generic/GenericData.Array.html
[Java Map]: http://download.oracle.com/javase/6/docs/api/java/util/Map.html?is-external=true
[GenericData.Fixed]: https://avro.apache.org/docs/1.7.7/api/java/org/apache/avro/generic/GenericData.Fixed.html#GenericData.Fixed%28org.apache.avro.Schema%29
[Java ByteBuffer]: https://docs.oracle.com/javase/6/docs/api/java/nio/ByteBuffer.html?is-external=true
[20210203163459299.png]: /images/20221024/47eef8eaa0284129927070c76ef94ab9.png
[Avro-]: https://blog.csdn.net/u013054888/article/details/64444908
[avsc_avro]: https://blog.csdn.net/wild46cat/article/details/80963149
[Avro]: https://blog.csdn.net/qq_26182553/article/details/75048394?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-7&spm=1001.2101.3001.4242
[generic.IndexedRecord]: http://java.lang.ClassCastException
[org.apache.avro.reflect.ReflectData]: https://www.programcreek.com/java-api-examples/?api=org.apache.avro.reflect.ReflectData
[org.apache.avro.generic.GenericData]: https://www.programcreek.com/java-api-examples/?api=org.apache.avro.generic.GenericData
[Avro 1]: http://www.voidcn.com/article/p-mprrardh-buu.html
[Streaming File Sink]: https://ci.apache.org/projects/flink/flink-docs-stable/zh/dev/connectors/streamfile_sink.html
[csv2parquet2orc]: https://github.com/jfseb/csv2parquet2orc/blob/master/src/test/java/jfseb/csv2parquet/parquet/TestBackwardsCompatibility.java
[csv2parquet]: https://github.com/cldellow/csv2parquet
[bigdata-file-viewer]: https://github.com/Eugene-Mark/bigdata-file-viewer
[Apache Parquet Tools]: https://mvnrepository.com/artifact/org.apache.parquet/parquet-tools/1.11.1
[Support for Parquet Files]: https://docs.huihoo.com/greenplum/pivotal/4.3.6/admin_guide/load/topics/g-hdfs-parquet-format.html