输入一条SQL语句,PostgreSQL如何解析输入的SQL,识别SQL类型以及基表/字段等信息.接下来的几节将逐一进行解析,本节首先介绍解析SQL相关的基础知识:词法分析.

### 一、词法分析
**基本概念**
首先来理清一些基本概念.
词法分析从左向右扫描输入的SQL语句，将其字符流分割成一个个的词(称为token),这些token是输入流中不可再分割的一串字符，类似于英语中单词，或汉语中的词。
SQL语句中token的类别是有限的,一般来说有常量(数值/字符/字符串等),操作符(算术操作符/逻辑操作符等),分隔符(逗号/分号/括号等),保留关键字,标识符(函数名/过程名等).如:1和200.13是数值常量token,'张三'和'广州市'是字符串常量token,+/-等是操作符token等.

**Flex简介**
在PostgreSQL中,使用了开源的Flex对SQL进行词法分析.
Flex全称为Fast LEXical analyser generator - scanner generator for lexing in C and C++.
Flex的输入文件格式为:
```
%{
Declarations(声明)
%}

Definitions(定义)

%%
Rules(规则)
%%

User subroutines(用户子过程)

```
如:
```
%{
    #define T_ZEOR 0
    int i = 0;
%}

NUM ([0-9]+)

%%
{NUM}  printf("?");     //遇到数字,打印?
#       return T_ZEOR;  //遇到字符#,返回0
.       ECHO;           //遇到其他字符,打印该字符
%%

int main(int argc, char* argv[]) {
    yylex();
    return T_ZEOR;
}

int yywrap() {
    return 1;
}

```
该例程的运行效果如下:
```
[root@localhost mytest]# ./mytest 
1t33..q
?t?..q
#
```

**SQL词法分析器**
使用Flex可以实现一个简单的SQL词法分析器,简单分为以下几个步骤:
1.列出SQL中所有类型的token
2.为每种token分配一个唯一的编号,同时写出该token的正则表达式
3.写出每种token的rule

*sql.l*
```
%{
int current_linenum = 1;
void init();
void elog(char* msg, int line);
typedef enum {
    T_EQUAL = 128   ,
    T_SELECT    ,
    T_CONST     ,
    T_STRING    ,
    T_ID
} TokeType;

static char* string_token[] = {
        "T_EQUAL", "T_SELECT", "T_CONST", "T_STRING", "T_ID"
    };

%}

INTEGER             ([0-9]+)
UNTERM_STRING       ("'"[^'\n]*)
STRING              ("'"[^'\n]*"'")
IDENTIFIER          ([_a-zA-Z][_a-zA-Z0-9]*)
OPERATOR            ([+*-/%=,;!<>(){}])
SINGLE_COMMENT      ("//"[^\n]*)

%%

[\n]                { current_linenum++;                       }
[ \t\r\a]+          { /* ignore all spaces */               }
{SINGLE_COMMENT}    { /* skip for single line comment */    }

{OPERATOR}          { return yytext[0];         }

"="                 { return T_EQUAL;           }
"select"            { return T_SELECT;          }
{INTEGER}           { return T_CONST;       }
{STRING}            { return T_STRING;      }
{IDENTIFIER}        { return T_ID;          }

<<EOF>>             { return 0; }

{UNTERM_STRING}     { elog("Unterminated string constant", current_linenum);  }
.                   { elog("Unrecognized character", current_linenum);        }

%%

int main(int argc, char* argv[]) {
    int token;
    init();
    while (token = yylex()) {
    if(token < 128) 
            printf("%-20c", token);
    else
        printf("%-20s",string_token[token - 128]);
        puts(yytext);
    }
    return 0;
}

void init() {
    printf("%-20s%s\n", "TOKEN-TYPE", "TOKEN-VALUE");
    printf("-------------------------------------------------\n");
}

void elog(char* msg, int line) {
    printf("\nError at line %-3d: %s\n\n", line, msg);
}

int yywrap(void) {
    return 1;
}

```

*makefile*
```
run: sql
    ./sql < test.sql

sql: lex.yy.c
    gcc -o $@ $<

lex.yy.c: sql.l
    flex $<

```

*样例SQL脚本*
```
select *
from test1
where c1 = 'TEST';

```
执行结果:
```
[root@localhost sql]# make
./sql < test.sql
TOKEN-TYPE          TOKEN-VALUE
-------------------------------------------------
T_SELECT            select
*                   *
T_ID                from
T_ID                test1
T_ID                where
T_ID                c1
=                   =
T_STRING            'TEST'
;                   ;
```
上面只是实现了一个非常简单的SQL词法解析器,但思路基本如此,无非是通过穷举所有的token而已.

### 二、参考资料
[Flex on wiki](https://en.wikipedia.org/wiki/Flex_(lexical_analyser_generator)
[Flex on github](https://github.com/westes/flex)
[Flex&Bison](http://web.iitd.ac.in/~sumeet/flex__bison.pdf)

ITPub博客

PostgreSQL 源码解读（165）- 查询#85(基础知识-词法分析)

最新文章