使用Calcite做Sql语法解析

待我称王封你为后i 2023-07-03 10:54 12阅读 0赞

![format_png][]

点击箭头处“蓝色字”，关注我们哦！！

![format_png 1][]

Flink SQL中使用Calcite作为sql语法解析、校验、优化工具，本篇是实操篇，介绍一下calcite做sql语法解析使用方式。

sql经过calcite解析之后，得到一棵抽象语法树，也就是我们说的AST，这棵语法树是由不同的节点组成，节点称之为SqlNode，根据不同类型的dml、ddl得到不同的类型的SqlNode，例如select语句转换为SqlSelect，delete语句转换为SqlDelete，join语句转换为SqlJoin。

使用方式：

SqlParser.Config config = SqlParser.configBuilder()
             .setLex(Lex.MYSQL) //使用mysql 语法
             .build();
    //SqlParser 语法解析器         
    SqlParser sqlParser = SqlParser
           .create("select id,name,age FROM stu where age<20", config);
    SqlNode sqlNode = null;
    try {
       sqlNode = sqlParser.parseStmt();
    } catch (SqlParseException e) {
      throw new RuntimeException("", e);
    }

这里解析了一个select的语句，那么得到的sqlNode就是一个SqlSelect。

if(SqlKind.SELECT.equals(sqlNode.getKind())){
    
    
       SqlSelect sqlSelect = (SqlSelect) sqlNode;
       SqlNode from=sqlSelect.getFrom();
       SqlNode where=sqlSelect.getWhere();
       SqlNodeList selectList=sqlSelect.getSelectList();
       //标识符
       if(SqlKind.IDENTIFIER.equals(from.getKind())){
           System.out.println(from.toString());
        }
    
    
        if(SqlKind.LESS_THAN.equals(where.getKind())){
            SqlBasicCall sqlBasicCall=(SqlBasicCall)where;
            for(SqlNode sqlNode1: sqlBasicCall.operands){
              if(SqlKind.LITERAL.equals(sqlNode1.getKind())){
                  System.out.println(sqlNode1.toString());
                }
              }
           }
    
    
        selectList.getList().forEach(x->{
          if(SqlKind.IDENTIFIER.equals(x.getKind())){
              System.out.println(x.toString());
             }
         });
     }

一个select语句包含from部分、where部分、select部分等，每一部分都表示一个SqlNode。SqlKind是一个枚举类型，包含了各种SqlNode类型：SqlSelect、SqlIdentifier、SqlLiteral等。SqlIdentifier表示标识符，例如表名称、字段名；SqlLiteral表示字面常量，一些具体的数字、字符。

SqlBasicCall对比SqlSelect/SqlDelete而言，可以理解为表示的是一些基本的、简单的调用，例如聚合函数、比较函数等，接下来看一下其如何解析sum操作：

select sum(amount) FROM orders //解析的sql
    //解析select部分
    selectList.getList().forEach(x->{
        if(SqlKind.SUM.equals(x.getKind())){
          SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
          System.out.println(sqlBasicCall.operands[0]);
       }
     });

其内部主要就是operands，也是SqlNode节点，但是都是一些基本的SqlNode，例如SqlIdentifier、SqlLiteral。

SqlSelect/SqlDelete/SqlBasicCall 都称之为SqlCall，差别是SqlSelect是复杂的SqlCall,内部可以包含其他节点，而SqlBasicCall表示简单的SqlCall。另外两种SqlNode:SqlDataTypeSpec与SqlNodeList，SqlDataTypeSpec代表数据类型节点，例如CHAR/VARCHAR/DOUBLE， SqlNodeList表示包含多个同级别的SqlNode，在上面select中已经展示过，看下SqlDataTypeSpec使用实例：

select cast(amount as CHAR) FROM orders//解析的sql
    //解析select部分
    selectList.getList().forEach(x->{
       if(SqlKind.CAST.equals(x.getKind())){
            SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
            System.out.println(sqlBasicCall.operands[0]); //amount
            SqlDataTypeSpec charType=(SqlDataTypeSpec)sqlBasicCall.operands[1];
            System.out.println(charType.getTypeName()); //CHAR
      }
    });

另外一种节点SqlOperator，可以代表函数、运算符、语法(select)结构，例如sum解析为SqlAggFunction、select解析为SqlSelectOperator，as 作为SqlAsOperator。SqlOperator是被嵌入在SqlNode中，作为其属性，通过SqlOperator的createCall方法可以创建对应的SqlNode，使用方式：

SqlOperator operator = new SqlAsOperator();
    SqlParserPos sqlParserPos = new SqlParserPos(1, 1);
    SqlIdentifier name = new SqlIdentifier("orders", null, sqlParserPos);
    SqlIdentifier alias = new SqlIdentifier("o", null, sqlParserPos);
    SqlNode[] sqlNodes = new SqlNode[2];
    sqlNodes[0] = name;
    sqlNodes[1] = alias;
    SqlBasicCall sqlBasicCall = (SqlBasicCall)operator.createCall(sqlParserPos,sqlNodes);
    System.out.println(sqlBasicCall); //得到的就是 Order as o

SqlParsePos表示对应解析的节点在sql位置，起止行与起止列。

以上介绍了一下calcite解析sql的简单使用方式，我们可以使用Calcite来做血缘分析、flink sql维表关联等。

**—END—**

![format_png 2][]

关注回复Flink

获取更多系列

原创不易，好看，就点个"在看"

![format_png 3][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6L1VDNk0xSGYwU1NFcHIxbGJiaWF0aWF4UEpjOHk5SmNPZVJ5Sk9JaHNpYndTeFdQbUhDcUp3eldYOHhUTXo5TVlMcEhLQWtSZlkyZmNNcW92eXhyUjlLcEF3LzY0MA?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9TN3RJdm81eFlNNE1YYm5GMTgyMUxJODAybDNVdXBjTHdqaFF5NlMwRkdoU05JR2plTlRraWM2RWFkc3ZGd1A2WGp0ZEpYWUFhT21pYkxtbE1UVmgxSjZRLzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9TN3RJdm81eFlNNjNhR0FoNlZmT0ZJMHBDVnFrVXRkbkJXWUYzVkFaOUVLaGNpYzhWeEtWT1JpY2MzQVFiN2d2ZkVOT1FnQ1dycFZoc2lhdXFhanR0Unc3US82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9TN3RJdm81eFlNN01GRVJScTAzTTkwQUVIdTBJRUFSOFpEM21BVzhyZDRJQUZrSGxndEZnaWNCNll1Z014bXdCMk1TVmIyWllMc1kyaWJpYU9pYVdsNHVjUncvNjQw?x-oss-process=image/format,png