impala&hive大数据平台数据血缘与数据地图(一)-解析impala与hive的血缘日志

快来打我* 2023-07-24 02:59 38阅读 0赞

**impala数据血缘与数据地图系列：**

[1. 解析impala与hive的血缘日志][1. _impala_hive]

[2. 实时采集impala血缘日志推送到kafka][2. _impala_kafka]

\---------------------------------**解析impala与hive血缘日志**\-------------------------------------------------------------

# Impala血缘: #

CDH官方文档impala数据血缘:

[https://docs.cloudera.com/documentation/enterprise/latest/topics/impala\_lineage.html][https_docs.cloudera.com_documentation_enterprise_latest_topics_impala_lineage.html]

在CM中找到该参数：

开启impala血缘，以及配置血缘日志路径及文件最大限制。

参数：lineage\_event\_log\_dir

目录：每个impala daemon节点下 /var/log/impalad/lineage

**需要注意的是这里只记录执行成功的脚本。**

我这里使用的是CDH6.2版本，与CDH5的版本在日志记录的结构上有所区别，但区别不大。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1][]

测试：使用impala-shell 指定impala daemon节点启动命令行，执行SQL命令，然后查看该daemon节点最新日志。

*impala-shell -i uathd01*

这里我创建一个视图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 2][]

然后到uathd01的节点看最新血缘日志:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 3][]

把这段json串拿出来格式化一下看看：

queryText：执行的命令

queryId : impala的执行ID

hash: sql的hash

user:执行该命令的用户

timestamp: 开始时间戳

endTime:结束时间戳

edges: 记录每个source到target的映射关系，edgeType为PREDICATE的部分是所有source字段到所有的target字段id的映射，edgeType为PROJECTION的是每个source字段到每个target字段的映射，这里是多对一的关系，即如果有一个目标字段是由两个源字段处理得来的话，这里的sourceid和targetid就是一个多对一的关系，但如果是一个源字段处理出了两个目标字段，在这里仍旧是两个代码块。

vertices: 该SQL内所有的源和目标字段，与edges中的id一一对应。

{
    	"queryText": "create view vw_lineage_test5 as select acc.gid,acc.decrypt_name,ind.company_name from dl_nccp.account acc inner join dl_nccp.individual ind on acc.gid=ind.gid and acc.is_deleted='0' and acc.is_valid='0' limit 100",
    	"queryId": "1d435f512faba59e:adc0fa8c00000000",
    	"hash": "f1b6e2813084ca457ebb78292715144c",
    	"user": "hive@NOAHGROUPTEST.COM.LOCAL",
    	"timestamp": 1586397809,
    	"endTime": 1586397818,
    	"edges": [
    		{
    			"sources": [
    				1
    			],
    			"targets": [
    				0
    			],
    			"edgeType": "PROJECTION"
    		},
    		{
    			"sources": [
    				3
    			],
    			"targets": [
    				2
    			],
    			"edgeType": "PROJECTION"
    		},
    		{
    			"sources": [
    				5
    			],
    			"targets": [
    				4
    			],
    			"edgeType": "PROJECTION"
    		},
    		{
    			"sources": [
    				1,
    				6,
    				7,
    				8
    			],
    			"targets": [
    				0,
    				2,
    				4
    			],
    			"edgeType": "PREDICATE"
    		}
    	],
    	"vertices": [
    		{
    			"id": 0,
    			"vertexType": "COLUMN",
    			"vertexId": "default.vw_lineage_test5.gid"
    		},
    		{
    			"id": 1,
    			"vertexType": "COLUMN",
    			"vertexId": "dl_nccp.account.gid"
    		},
    		{
    			"id": 2,
    			"vertexType": "COLUMN",
    			"vertexId": "default.vw_lineage_test5.decrypt_name"
    		},
    		{
    			"id": 3,
    			"vertexType": "COLUMN",
    			"vertexId": "dl_nccp.account.decrypt_name"
    		},
    		{
    			"id": 4,
    			"vertexType": "COLUMN",
    			"vertexId": "default.vw_lineage_test5.company_name"
    		},
    		{
    			"id": 5,
    			"vertexType": "COLUMN",
    			"vertexId": "dl_nccp.individual.company_name"
    		},
    		{
    			"id": 6,
    			"vertexType": "COLUMN",
    			"vertexId": "dl_nccp.account.is_deleted"
    		},
    		{
    			"id": 7,
    			"vertexType": "COLUMN",
    			"vertexId": "dl_nccp.account.is_valid"
    		},
    		{
    			"id": 8,
    			"vertexType": "COLUMN",
    			"vertexId": "dl_nccp.individual.gid"
    		}
    	]
    }

# Hive: #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 4][]

同impala类似，不再赘述，区别仅仅是日志的json格式以及记录的详细程度的区别。

#  应用： #

接下来就是如何使用这些血缘的日志，我们已经分析了impala血缘日志的结构，接下来只要使用日志采集工具filebeat或flume,logstash等工具采集每个impala daemon节点上的日志，然后对每个json串进行解析即可，后面的文章会演示如何实时采集impala血缘到kafka，消费kafka里的血缘数据处理后写入neo4j数据库内进行数据血缘数据地图的展示。

[1. _impala_hive]: https://blog.csdn.net/wsdc0521/article/details/105403734
[2. _impala_kafka]: https://blog.csdn.net/wsdc0521/article/details/105404576
[https_docs.cloudera.com_documentation_enterprise_latest_topics_impala_lineage.html]: https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_lineage.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70]: /images/20230528/ba3d4fb246e743af9a72545817b81344.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1]: /images/20230528/cb31c64c4a1140e7a0d34018c484182f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 2]: /images/20230528/b701b14acb304b86a369b80e22e2122a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 3]: /images/20230528/e959ab9b30cb47cb9ef5382dffd91aaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 4]: /images/20230528/e904b022a5c5416abc973bf29059f3a5.png