关于Flink DataSource数据接入

小灰灰 2024-04-17 17:30 72阅读 0赞

DataSet API支持从多种数据源中将批量数据集读到Flink系统中，并转换成DataSet数据集。三个月接入接口共有三种类型，分别是文件系统类型，Java Collection类型，以及通用类数据源。

![640?wx\_fmt=png][640_wx_fmt_png]

**文件类数据**

![640][]

1.  **readTextFile（path）/TextInputFormat**

将文本内容转换为DataSet\[String\]类型数据集

env.readTextFile("file:///")

1.  **readTextFileWithValue（path）/TextValueInputFormat**

StringValue是一种可变的String型，通过String Value存储文本数据可以有效

降低String对象创建时的数量，从而降低系统性能上的开销

env.readTextFileWithValue("file:///","UTF-8")

1.  **readCsvFile（path）/CavInputFormat**

读取指定分割符切割的CSV文件，且可以直接换成Tuple类型，

Case Class对象或者POJOs类

env.readCsvFile("file:///",includedFields = Array（0,3）)

1.  **readSequenceFile(Key,Value,path)/SequenceFileInputFormat**

读取SequenceFileInputFormat类型的文件，在参数中指定Key Class 和 Value Class类型，

返回结果为Tuple2\[Key，Value\]类型

env.readSequenceFile("file:///",includedFields = Array（0,3）)

![640?wx\_fmt=png][640_wx_fmt_png]

**集合类数据**

![640][]

1.  **fromCollection(Seq)**

集合类型可以是数组、List等，也可以从非空Iterable中创建

env.fromCollection(Seq("flink","hadoop")

1.  **fromElements(\_\*)**

数据集中的所有数据对象类型必须一致

env.fromElements("flink","hadoop")

1.  **generateSequence（from，to）**

指定from到to范围区间，然后在区间内部生成数字序列数据集

env.generateSequence（1,100000）

![640?wx\_fmt=png][640_wx_fmt_png]

**通用数据接口**

![640][]

1.  **readFile（inputFormat，path）/FileInputFormat**

指定格式文件读取并转成DataSet数据集

env.readFile(new PointInputFormat(),"file:///")

1.  **createInput(inputformat)/inputformat**

自定义通用型数据源，将读取的数据转换为DataSet数据集。

env.createInput（JDNCInputformat.buildJDBCInputFormat）  .setDrivername("com.mysql.jdbc.Driver")  .setDBUtil("jdbc:mysql://localhost:3306/test")  .setQuery("select * from person")  .finish()

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/61628c72ddd04b578ad9195a7fa66551.png
[640]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/8ec2cc6df32340b9bb8083dad11bf4fa.png
[640_wx_fmt_jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/fd5a2b52ed264ac5bf53b9afbc6bc41f.png