flink sql 部署_使用Flink SQL实时分析日志信息

迈不过友情╰ 2023-01-09 01:22 224阅读 0赞

source数据源：在with 语句中配置，实现与DIS的“input-dis”通道对接，使CS服务可以从“input-dis”通道实时获取数据。需要配置以下参数：type = "dis" ：类型选择dis。

region = "cn-north-1" ：作业所在的区域， cn-north-1 表示华北-北京一区域。

channel = "input-dis" ：DIS通道名称。

partition\_count = "1" ：DIS通道的分区数。

encode = "csv" ：数据编码方式，选择CSV。

field\_delimiter = "\\\\|\\\\|" ：当编码格式为CSV时，属性之间的分隔符。

quote = "\\u005c\\u0022" ：指定数据格式中的引用符号，在两个引用符号之间的属性分隔符会被当做普通字符处理。当引用符号为双引号时，请设置quote = "\\u005c\\u0022"进行转义。

offset = "0" ：偏移量，offset="0"时，表示CS服务从DIS服务的第0条数据开始处理。

详细信息请参见配置DIS输入流。

sink输出源：在with 语句中配置，实现与OBS桶对接，使CS服务能将处理结果输出到OBS桶中。需要配置以下参数：type = "obs" ：类型选择obs

region = "cn-north-1" ：作业所在的区域， cn-north-1 表示华北-北京一区域。

encode = "csv" ：数据编码方式，选择CSV。

field\_delimiter = "," ：当编码格式为CSV时，属性之间的分隔符。

row\_delimiter = "\\n" ：行分隔符。

obs\_dir = "output-obs/logInfos" ：文件存储目录，格式为\{桶名\}/\{目录名\}。

file\_prefix = "log\_out" ：输出文件名的前缀，默认为temp。

rolling\_size = "100m" ：单个文件最大允许大小。

详细信息请参见配置OBS输出流。

SQL 查询，示例如下：INSERT INTO log\_out

SELECT http\_host,forward\_ip,cast(cast(msec \* 1000 as bigint) + 28800000 as timestamp),status,request\_length, bytes\_sent,string\_to\_array(request, '\\\\ ')\[1\],string\_to\_array(request, '\\\\ ')\[2\],http\_referer,http\_user\_agent,

upstream\_cache\_status,upstream\_status,request\_time,cookie\_DedeUserID\_cookie\_sid\_sent\_http\_logdata,upstream\_response\_time,

upstream\_addr,

case IP\_TO\_PROVINCE(forward\_ip) when "Guangxi" then "Guangxi Zhuang Autonomous Region"

when "Ningxia" then "Ningxia Hui Autonomous Region"

when "Taiwan" then "Taiwan Province"

when "Macao" then "Macau"

else IP\_TO\_PROVINCE(forward\_ip) end,

case when http\_user\_agent like "%Chrome%" then "Chrome"

when http\_user\_agent like "%Firefox%" then "Firefox"

when http\_user\_agent like "%Safari%" then "Safari"

else "Others" end

FROM log\_infos;

发表评论取消回复

表情：

评论列表（有 0 条评论，224人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink (三) --------- Flink 部署

目录一、3.1 快速启动一个 Flink 集群 1. 环境配置 2. 本地启动 3. 集群启动 4. 向集群

布满荆棘的人生/ 2024年03月24日 12:38/ 0 赞/ 49 阅读

相关 Flink SQL TopN

文章目录 1、SQL 语法标准： 2、参数说明： 3、注意事项： Flink SQL 对于批处理（Batch）和流处理（streaming）模式

骑猪看日落/ 2024年03月23日 23:34/ 0 赞/ 75 阅读

相关 flink sql 部署_使用Flink SQL实时分析日志信息

source数据源：在with 语句中配置，实现与DIS的“input-dis”通道对接，使CS服务可以从“input-dis”通道实时获取数据。需要配置以下参数：type =

迈不过友情╰/ 2023年01月09日 01:22/ 0 赞/ 225 阅读

相关基于 Flink SQL CDC的实时数据同步方案

本文转自：http://www.dreamwu.com/post-1594.html Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能

╰+攻爆jí腚メ/ 2022年11月19日 01:28/ 0 赞/ 571 阅读

相关 Flink SQL之Catalogs

目录（1）Catalogs主要定义（2）Catalogs类型（3）Catalogs在Flink SQL架构中的位置

逃离我推掉我的手/ 2022年11月17日 13:36/ 0 赞/ 411 阅读

相关 Flink SQL编程

Flink SQL编程目录 Flink SQL编程一、Flink SQL核心概念 1.1 动态表和连续查询

比眉伴天荒/ 2022年10月23日 07:00/ 0 赞/ 191 阅读

相关 Apache Flink SQL示例

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 本章讲解如何使用Flink SQL进行批处理操作。这

短命女/ 2022年10月02日 03:50/ 0 赞/ 225 阅读

相关【Flink】Flink SQL 读取 CSV 文件

文章目录 3.7 source 3.7 连续查询 3.8 Sink Tables 3.8.1 案例1

亦凉/ 2022年09月11日 05:18/ 0 赞/ 271 阅读

相关【Flink】Flink SQL 架构以及执行逻辑

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

淩亂°似流年/ 2022年09月03日 01:22/ 0 赞/ 182 阅读

相关 Flink 运行时日志分析

1.taskmanager ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6K-46JGb5

àì夳堔傛蜴生んèń/ 2021年09月22日 03:20/ 0 赞/ 776 阅读