GreenPlum外表自定义协议及自定义数据格式调用框架分析——从外部表读数据

素颜马尾好姑娘i 2022-05-26 02:53 309阅读 0赞

# 概述 #

*  Greenplum外部表支持自定义协议，其数据格式通常为CSV或TEXT，也支持自定义数据格式。本文简单分析一下其外部表针对自定义数据格式、自定义协议的调用流程。

# 核心流程分析 #

*  先来看一个GP从自定义协议的外部表读数据的调用堆栈：

……
    #5  0x00007fe50cfb8fca in my_import() from  gpextprotocol.so
    #6  0x000000000054a6cf in InvokeExtProtocol ()
    #7  0x000000000054a96c in url_custom_fread ()
    #8  0x0000000000542303 in externalgettup_defined () at fileam.c:1616
    #9  0x00000000005443c0 in external_getnext () at fileam.c:1202
    #10 0x00000000006c1160 in ExternalNext ()
    #11 0x0000000000691c4a in ExecProcNode ()
    #12 0x00000000006c23b0 in ExecMotion ()
    #13 0x0000000000691cfa in ExecProcNode ()
    #14 0x000000000068f60c in ExecutePlan ()
    #15 0x000000000068fb70 in ExecutorRun ()
    #16 0x000000000082cba9 in PortalRunSelect ()
    #17 0x000000000082e7e5 in PortalRun ()
    #18 0x00000000008269ac in exec_mpp_query ()
    #19 0x000000000082c032 in PostgresMain ()
    #20 0x00000000007caab5 in ServerLoop () at postmaster.c:6700
    #21 0x00000000007ccea2 in PostmasterMain () at postmaster.c:1519
    #22 0x0000000000705957 in main () at main.c:206

*  下面逐个介绍一下主要的函数

## `ExternalNext` ##

*  该函数的核心代码可概括为：

static TupleTableSlot *
    ExternalNext(ExternalScanState *node)
    {
        while(scanNext)
        {
            tuple = external_getnext(scandesc, direction);
            if (tuple)
            {
                ExecStoreHeapTuple(tuple, slot, InvalidBuffer, true);
                ……
            }
    }

*  我们主要关心如何从外部表取到数据，因此本文主要分析`external_getnext`极其内部调用。

## `external_getnext` ##

*  该函数一是判断下外部表文件有没有打开，如未打开则调用`open_external_readable_source`打开外部表文件,后者最终会调用`url_open`

URL_FILE *
    url_fopen(char *url, bool forwrite, extvar_t *ev, CopyState pstate)
    {
        /*
         * if 'url' starts with "execute:" then it's a command to execute and
         * not a url (the command specified in CREATE EXTERNAL TABLE .. EXECUTE)
         */
        if (pg_strncasecmp(url, EXEC_URL_PREFIX, strlen(EXEC_URL_PREFIX)) == 0)
            return url_execute_fopen(url, forwrite, ev, pstate);
        else if (IS_FILE_URI(url))
            return url_file_fopen(url, forwrite, ev, pstate);
        else if (IS_HTTP_URI(url) || IS_GPFDIST_URI(url) || IS_GPFDISTS_URI(url))
            return url_curl_fopen(url, forwrite, ev, pstate);
        else
            return url_custom_fopen(url, forwrite, ev, pstate);
    }

*  二是调用`externalgettup`从外部表取数据

## `externalgettup` ##

*  这个函数核心代码如下：

if (!custom)
            tup = externalgettup_defined(scan); /* text/csv */
        else
            tup = externalgettup_custom(scan);  /* custom */

- 可知对于自定义数据格式的外部表，调用 `externalgettup_custom`  
    - 对于CSV或text数据格式的外部表,调用`externalgettup_defined`

## `externalgettup_defined` 和 `externalgettup_custom` ##

### `externalgettup_defined` ###

1.调用 `external_getdata` 获取原始数据  
2.循环调用`parse_next_line` 和 `heap_form_tuple`，解析CSV或TEXT格式数据，并组装成tuple结构。

### `externalgettup_custom` ###

1.调用 `external_getdata` 获取原始数据  
2.`FunctionCallInvoke`，调用用户定义的回调函数,解析自定义数据格式.  
3.注意: 从这里可以看出,**自定义数据格式的处理分为两个过程，首先和CSV、TEXT数据格式一样，先拉取原始数据，然后调用用户自定义的消息格式解析函数解析buffer，封装tuple结构。**

### `external_getdata` ###

*  该函数在CSV、TEXT格式外部表和自定义格式外部表流程中都会被调用
 *  其核心是封装了`url_fread`函数调用：

size_t
    url_fread(void *ptr, size_t size, URL_FILE *file, CopyState pstate)
    {
        switch (file->type)
        {
            case CFTYPE_FILE:
                return url_file_fread(ptr, size, file, pstate);
            case CFTYPE_EXEC:
                return url_execute_fread(ptr, size, file, pstate);
            case CFTYPE_CURL:
                return url_curl_fread(ptr, size, file, pstate);
            case CFTYPE_CUSTOM:
                return url_custom_fread(ptr, size, file, pstate);   
            default: /* unknown or supported type */
                elog(ERROR, "unrecognized external table type: %d", file->type);
        }
    }

*  `url_fread`函数结构非常清晰，对file,命令(exec)，curl以及自定义协议分别进入不同的分支。其中自定义协议分支调用`InvokeExtProtocol`,该函数最终调用用户自定义的读外部表回调函数。

static int32 InvokeExtProtocol(void *ptr, size_t nbytes, URL_CUSTOM_FILE *file, CopyState pstate,
                      bool last_call)
    {
        FunctionCallInfoData    fcinfo;
        ExtProtocolData *extprotocol = file->extprotocol;
        ……
    
        /* invoke the protocol within a designated memory context */
        oldcontext = MemoryContextSwitchTo(file->protcxt);
        d = FunctionCallInvoke(&fcinfo);
        MemoryContextSwitchTo(oldcontext);
        ……
    }

# 总结 #

*  通过上面分析不难看出，并非只有自定义协议的外部表才支持自定义数据格式，内置的file、gpfdist等协议类型，同样支持自定义数据格式；
 *  自定义数据格式外部表的读处理是氛围两个步骤的：  
    
    
     *  首先和普通外部表一样，先拉取数据，一般是以写满一个BLOCK为单位。
     *  然后再调用用户定义的数据格式解析数据的回调函数。且GP会把整个BLOCK的数据都交给这个回调函数来处理，由该函数封装tuple结构。