编译原理实验

南京信息工程大学 实验(实习)报告

实验（实习）名称 词法分析程序实现 实验（实习）日期 2015.5 得分 指导教师 郑关胜

学院 专业 年级 10 班次 姓名 学号

一． 实验目的

1. 学会针对DFA转换图实现相应的高级语言源程序。

2. 深刻领会状态转换图的含义，逐步理解有限自动机。

3. 掌握手工生成词法分析器的方法，了解词法分析器的内部工作原理。

二． 实验内容

计算机语言的编译程序的词法分析部分实现。从左到右扫描每行该语言源程序的符号，拼成单词，换成统一的内部表示（token）送给语法分析程序。为了简化程序的编写，有具体的要求如下：

1. 标识符（关键字）、整数和浮点数。

2. 多余空白符仅仅是空格、回车符、制表符（跳格键）。

3. 代码是自由格式。

4. 注释应放在花括号或者/* */或者 // 之内，并且不允许嵌套

三． 实验要求

要求实现编译器的以下功能：

1. 按规则拼单词,并转换成二元式形式

2. 删除注释行

3. 删除空白符 (空格、回车符、制表符)

4. 列表打印源程序，按照源程序的行打印，在每行的前面加上行号，并且打印出每行包含的记号的二元形式

5. 发现并定位错误（定位到行）

词法分析进行具体的要求：

1. 记号的二元式形式中种类采用枚举方法定义；其中保留字和特殊字符是每个都一个

种类，标示符自己是一类，数字是一类；单词的属性就是表示的字符串值。

2. 词法分析的具体功能实现是一个函数GetToken()，每次调用都对剩余的字符串分析得到一个单词或记号识别其种类，收集该记号的符号串属性，当识别一个单词完毕，采用返回值的形式返回符号的种类，同时采用程序变量的形式提供当前识别出记号的属性值。这样配合语法分析程序的分析需要的记号及其属性，生成一个语法树。

3. 标示符和保留字的词法构成相同，为了更好的实现，把语言的保留字建立一个表格存储，这样可以把保留字的识别放在标示符之后，用识别出的标示符对比该表格，如果存在该表格中则是保留字，否则是一般标示符。

四． 实现方法

为了便于扫描器在构造单词的二元式时能方便的找到该单词的种别码，先建立一个足够容量的数组按字典顺序存放实现语言的单词编码表，每从源程序读入一个单词，先决定是否非法字符，然后再查编码表，根据返回的种别码进行处理：关键字和操作符直接生成token字；标识符、整常数、实常数和字符常数则先查填符号表（只填入标识符名），再生成相应的token字。

扫描器兼管查填符号表的工作，可以保证输出token串的长度统一，又可放宽对用户的一些限制（如标示符长度、常数位数等）

由于是实验，为了方便起见，生成的token串先放到一个足够容量数组里面，再输出到文件。如果考虑到要处理比较大的源程序，可以采用直接写到外存的文件里或者采取每次只提交一个token串给语法分析模块的办法。

五． 错误处理

在词法分析阶段，可以发现以下错误：

1. 非法字符，即程序语言的字符集以外的字符

2. 注解或字符常数不闭封

程序遇到错误，输出包含错误的行号和列号的错误信息到外部文件error.o，然后跳过错误继续分析。

六. 运行结果

七． 心得体会

通过编写这个词法分析程序，令我对源程序编译器的工作过程尤其是其词法分析过程有了比较完整的印象，对其设计方法有了一定程度的掌握，并为编写后来的语法分析部分打好了基础。