第一篇：词法分析小结
词法分析是编译器工作的第一阶段，它的工作就是从输入（源代码）中取得token，以作为parser（语法分析）的输入，一般在词法分析阶段都会把一些无用的空白字符（white space，即空格、tab和换行）以及注释剔除，以降低下一步分析的复杂度，词法分析器一般会提供一个gettoken()这样的方法，parser可以在做语法分析时调用词法分析器的这个方法来得到下一个token，所以词法分析器并不是一次性遍历所有源代码，而是采取这种on-demand的方式：只在parser需要时才工作，并且每次只取一个token。
token和lexeme
首先，token不等于lexeme。token和lexeme的关系就类似于面向对象语言中“类”和“实例”（或“对象”）之间的关系，这个用中文不知该如何解释才好，比如语言中的变量a和b，它们都属于同一种token：identifier，而a的lexeme是”a”，b则是”b”，而每个关键字都是一种token。token可以附带有一个值属性，例如变量a，当调用词法分析器的gettoken()时，会返回一个identifier类型的token，这个token带有一个属性“a”，属性可以是多样的，例如表示数字的token可以带有一个表示数字值的属性，它是整型的。
如下代码：
int age = 23;
int count = 50;
可以依次提取出8个token：int(值为”int”)，id(值为”age”)，assign(值为”=”)，number(值为整型数值23)，int(值为”int”)，id(值为”count”)，assign(值为”=”)，number(值为50)
正则表达式
正则表达式可以用来描述字符串模式，例如我们可以用digit+来表示number的token，其中digit表示单个数字（这里说正则表达式并不完全和实现的正则引擎所识别的正则表达式等价，这里只是为了描述问题而已）。
然而像c语言的的多行注释，用正则表达式来描述就比较麻烦，此时更倾向于直接用有穷自动机（finite automaton）来描述，因为用它来描述非常直观且很容易。
有穷自动机(finite automata)
有穷自动机也称为有限状态机，状态在输入字符的作用下发生迁移，因此，它可以用来识别token，也因此，我们只要画得出fa，之后再用代码实现这个fa，那词法分析器也就差不多弄好了。
有穷自动机分确定性（dfa）和非确定性（nfa）两种，如果对于同一个输入，只会有一个确定的状态迁移路线，也就是只有一个确定的“下一状态”，那就是dfa，否则就是nfa。
因为dfa对于同一个输入只有一个确定的下一状态，所以词法分析器当然优先采用它，那nfa拿来干嘛用呢？nfa用来做描述用时更方便，我们可以非常迅速地画出一个识别token的nfa图，但要想直接画出个dfa那要动不少脑筋。
根据正则表达式构建nfa
如上所述，nfa更容易画出，那我们就先研究nfa，在定义token时，我们可以用正则表达式来描述它，因为正则表达式干这行很合适，例如一个digit+就可以描述数字，多方便。因此，我们需要根据正则表达式画出与之等价的nfa。而这个算法非常简单，就是tompson’s construction，这个书上写得很清楚了。
将nfa转化成dfa（nfa的确定化）
对于计算机来说，面对同一个输入，如果有多个下一状态，那计算机就不清楚要转到哪个状态，所以我们期望能从正则表达式得到dfa，而不是nfa，因为这样将来编程实现时比较自然（同一输入有确定的一个下一状态），而幸运的是，每个nfa都可以转化成dfa。为什么nfa可以转化成dfa？因为fa(finite automata)中的状态都是我们自己画的，只要fa能正确的识别token，那就ok了，也就是，如果nfa和dfa都可以达到一样的效果：识别token，那其它的我们就不管了。
实现词法分析器
对于一个token，比如用来表示数字的token：num，我们可以用正则表达式描述它，然后画出nfa，再将nfa转化成dfa，再最小化dfa的状态，但是我们的词法分析器是不是分析一个token，所以我们要把所有类型的token的dfa合并成一个dfa，这样，这个dfa也就可以识别语言的所有token了，如果在某一连串的输入下，dfa达不到终结状态，那就说明源代码有错误了。
我用c#实现了一个用于《compiler construction: principles and practice》中tiny语言的词法分析器，tiny语言有关键字：if, then, else, end, repeat, until, read, write，有操作符+，-，*，/，=，<，(，)，;，:=（全角逗号不算，是文章的分隔符）这10个，然后其余的token有number(一或多个数字)和identifier(一或多个字母)，其dfa如下图：
上面这张图和《编译原理及实践》中的一样，其中的带中括号的输入说明这个输入是lookahead的，在匹配成功后是要重新放回输入流中的，比如识别num时，如果发现个非digit的，那就说明识别到了一个number，但是最后识别的那个非digit字符是要放回输入流的，因为它要留着下一次识别。
其中从start到done的那个other，指所有非white space，非{，非letter，非digit，也非:的字符，它有可能是合法的+, *, /这些，也可能是不合法的其它输入，如#号。因此，done这个状态只是说本次gettoken已经结束，状态机是有可能因为不合法的输入而进入done状态的。究竟从start到done是因为合法的，如+号导致的，还是由不合法的如#号导致的，将在代码中实现判断，但可以肯定的是，不管是+号还是#号作用于start状态，都会进入done状态。
第二篇：《编译原理》课程(词法分析)实验报告
一.实验序号：《编译原理》第一次实验
二.实验题目：词法分析
三.实验日期：2010.10
四.实验环境（操作系统，开发语言）
操作系统：Windows
开发语言：C
五.实验内容（实验要求）
a)将标识符的词法改为“以大写字母或小写字母开头，后面可以跟大写字
母或小写字母或数字或下划线”。
b)将<条件>中的表示相等关系的单词“=”改为“= =”
c)将原来的无小数的数改为可以有小数的数
六.实验步骤
a)打开VC++,找到getsym（）项目。
int getsym（）
{...}
在getsym()函数中设置断点，F10逐过程调试
根据要求a修改为
if(ch>='a'&&ch<='z'||ch>='A'&&ch<='Z')
往后面看，修改while(ch>='a' && ch<='z' || ch>='0' && ch<='9' ||ch>='A' && ch<='Z' || ch=='_');
b)在检测赋值符号的程序段中找到等号 = 的判断代码，改变成为 = = 即
可。
c)在获取整数数字的值的程序段后面添加判断小数点的代码。如果是，即
读取符号并且按照小数的要求将其缩小并且累加到总的符号串中。
七.实验体会（包括收获、心得体会、存在的问题及解决问题的方法、建议等）
通过实验，如果要修改代码的话，首先应该读懂源码，在修改之前了解到程序段的功能是什么，然后再在相应的行进行修改添加，再进行合理的调试。如果问题太过困难可以查询资料或与同学进行讨论
八.实验结果（关键源程序）
a)
int getsym()
{
int i,j,k;
while(ch==' '||ch==10||ch==9)/*忽略空格,换行和TAB*/{
getchdo;
}
if(ch>='a'&&ch<='z'||ch>='A'&&ch<='Z')/*名字或保留字以a..zA。Z开头*/{
k=0;
do{
if(k { a[k]=ch; k++; } getchdo; }while(ch>='a' && ch<='z' || ch>='0' && ch<='9' || ch>='A' && ch<='Z' || ch=='_');// if(ch>='0'&&ch<='9')/*检测是否为数字,以0..9开头*/{ k=0; num=0; sym=number; do{ //435 num=10*num+ch-'0'; k++; getchdo; }while(ch>='0' && ch<='9'); if(ch=='.') { k++; sym=period; getchdo; sym=number; int div=10; do{num=num+(ch-'0')/div; k++; getchdo; div=div*10; }while(ch>='0'&&ch<='9'); } b) else { if(ch=='>')//检测大于或大于等于符号{ getchdo; if(ch=='=')//add by M { sym=geq;//构成>= getchdo; } else { sym=gtr;//否则就是一个单独的>号} } else { if(ch=='=') { getchdo; if(ch=='=') { sym=deq; getchdo; } else { sym=eql; } } c)else {if(ch == ’.’) {k=10; getchdo; do{num=num+(ch-'0')/k; k=k*10; getchdo; }while(ch>='0'&&ch<='9');} } 实验一 词法分析设计 实验学时：4 实验类型：综合 实验要求：必修 一、实验目的 通过本实验的编程实践，使学生了解词法分析的任务，掌握词法分析程序设计的原理和构造方法，使学生对编译的基本概念、原理和方法有完整的和清楚的理解，并能正确地、熟练地运用。 二、实验内容 用VC++/VB/JAVA语言实现对C语言子集的源程序进行词法分析。通过输入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的内部编码及单词符号自身值；若遇到错误则显示“Error”，然后跳过错误部分继续显示 ；同时进行标识符登记符号表的管理。以下是实现词法分析设计的主要工作：（1）从源程序文件中读入字符。 （2）统计行数和列数用于错误单词的定位。（3）删除空格类字符，包括回车、制表符空格。 （4）按拼写单词，并用（内码，属性）二元式表示。(属性值——token的机内表示)（5）如果发现错误则报告出错 （6）根据需要是否填写标识符表供以后各阶段使用。单词的基本分类： 关键字：由程序语言定义的具有固定意义的标识符。也称为保留字例如 标识符：用以表示各种名字，如变量名、数组名、函数名； 常数： 任何数值常数。如 125, 1,0.5,3.1416； 运算符：+、-、*、/； 关系运算符： <、<=、=、>、>=、<>； 分界符： ；、，、（、）、[、]； if、for、while、printf ； 单词种别码为1。 三、实验要求 1、编程时注意编程风格：空行的使用、注释的使用、缩进的使用等。 2、将标识符填写的相应符号表须提供给编译程序的以后各阶段使用。 3、根据测试数据进行测试。测试实例应包括以下三个部分: 全部合法的输入。 各种组合的非法输入。 由记号组成的句子。 4、词法分析程序设计要求输出形式: 例：输入VC++语言的实例程序： If i=0 then n++;a﹤= 3b %);输出形式为： 单词 二元序列 类 型 （单词种别，单词属性） for (1,for) 关键字 i (6,i) 标识符 = (4，=) 关系运算符0 (5，0) 常数 then (1，then) 关键字 n (6,n) 标识符 ++ Error Error ； (2,;) 分界符 位置（行，列） （1，1） （1，2） （1，3） （1，4） （1，5） （1，6） （1，7） （1，8） a (6,a) 标识符 （2，1）﹤= (4,<=) 关系运算符 （2，2）3b Error Error （2，4）% Error Error （2，4）) (2,)) 分界符 （2，5）； (2,;) 分界符 （2，6） 实验报告正文： 功能描述：该程序具有词法分析功能，即面对一段程序源代码，通过该程序，能检查出源代码是否由词法错误。 三、词法分析实验设计思想及算法： 首先构造六个表，key[]={“auto”,“break”,“case”,“catch”,“char”,“class”,“const”,“continue”,“default”,“delete”,“do”,“double”,“else”,“enum”,“float”,“for”,“if”,“int”,“long”,“new”,“private”,“protected”,“public”,“register”,“return”,“short”,“static”,“struct”,“switch”,“this”,“void”,“while”,“then”};关键字表, 单词种别码1; Delimiter[]={“;”,“(”,“)”,“[”,“]”,“,”,“.”,“{”,“}”};分界符表 单词种别码2 Operator[]={“+”,“-”,“*”,“/”};算术运算符表 单词种别码3 R_operators[]={“<”,“<=”,“==”,“>”,“>=”},关键字表 , 单词种别码1;string Number[100];常数表 单词种别码5;string Identifier[100];标示符表 单词种别码6;构造关键字判断函数Iskey(),字母判断函数Isletter(),数字判断函数Isnumber();构造标示符判别函数InsertId()，若输入的标示符在标示符数组Identifier []中，返回其下标，若不在，将该标示符插到数组末尾。构造标示符判别函数InsertNumber()，若输入的数字在数字数组Number[]中，返回其下标，若不在，将该数字插到数组末尾。具体分析函数analyse()具体实现输入源代码的识别。anaiyse()构造思路，程序设计图： 综合以上分析，画出整个程序的运行分析程序图，如下： 开始 输入源文件路径否 路径是否有效是打开源文件初始化文件指针识别指针内容文件结束？否是空格，空白或换行吗是跳过该字符是结束否是字母吗是将字符加入字符数组Word[]否是数字吗否是界符吗否将字符加入字符数组Word[]是将字符加入字符数组Word[]是指向下一字符识别指针内容是输出word为界符输出Word内容为不可识别将字符加入字符数组Word[]将字符加入字符数组Word[]指向下一字符指向下一字符是字母惑数字吗回退否将word与关键字表key进行匹配输出word为普通标示符是数字吗否输出word为常数指向下一字符否匹配？是输出word为关键字整个程序的运行分析程序图 软件的测试方法和测试结果： 首先，将要分析的源代码写入一个文本，存于磁盘中，然后运行程序，输入源代码文件存放的路径，若输入路径正确，程序将自动分析源代码，若输入路径不正确，程序将显示，路径错误，请重新输入的提示。下面为具体的运行实例： 源代码为：If i=0 then n++;a﹤= 3b %) 输出满足要求。 实验总结（设计的特点、不足、收获与体会）： 通过此次实验，让我了解到如何设计、编制并调试词法分析程序，熟悉了构造词法分析程序的手工方式的相关原理，加深了对编译原理词法分析的理解，本次使用C++语言直接编写此法分析程序，也让我重新熟悉了C++语言的相关内容，加深了对C++语言的用途的理解。本程序的数据输入采取直接从文件中读取，而不是由键盘输入，因此在测试过程中，输入得到大大简化，但是本程序的关键字表只初始化了一部分关键字，还可继续扩充（只需扩大数组，向其中补充要添加的关键字），而且程序的测试数据存在不足，程序可能存在未发现的漏洞，以上两点有待改善。附录该程序的源代码： #include 第四讲 英汉词法对比 1、词类划分 2、词义区分 3、搭配习惯 4、词序先后 词类 •词类的概念：词类是根据词在句子中的语法功能进行的一个划分，诸如名词、动词、形容词、副词等。 •谁能够说出英汉两种语言中各有多少种词类？ 词类划分 •汉语把词分为12类（名词、动词、形容词、数词、量词和代词是实词，副词、介词、连词、助词、拟声词和叹词是虚词），英语则10类（实词：名词、动词、形容词和副词。虚词：代词、冠词、介词、连词、数量词和感叹词）：汉语没有冠词，而英语则少了量词（名量词和动量词）和助词（时态助词和语气助词） •（名量词）一个人：一张嘴，一双眼睛，两只耳朵，两条腿 •（动量词）等一下，念一遍，哭一场，走一趟 •（助词） 着，了，过（时态助词）；的，呢，罢了，而已，啦，吗，吧，啊，么（语气助词）； 词类的句法功能 •汉语一个词类能充当较多的句法功能 •英语一个词能充当的句法成分较少，充当不同成分需要词类转换。 英汉比较 •谓语：我们讨论了这个问题。•We have discussed it.•主语：讨论刚刚开始。• The discussion just began.•宾语：很多同学参加了这次讨论。•Many students took part in the discussion.•定语：我们得确定一下讨论的内容。• We have to decide on what to discuss.主要词类比较 •名词 •动词 •代词 •介词 名词 1 汉语的特征 •1)无单复数之分（eg:我是老师;我们都是老师）•2)后可加上们，群（牛群）¡±表复数，但此时其前就不能加数词(错误eg：三个同学们）； •3)量词放在名词后面表示统称（一辆车：车辆，一张纸：纸张） 名词 2 英语的特征 1)可数名词前可以直接加上数词：two students; 2)不可数名词前要加表示量的名词： two pieces of news, three sacks of flour, four meters of cloth, six cakes of soap; 3)有特殊含义的复数：colors彩旗，ashes骨灰，the last words 遗嘱（have a word with Jack和杰克说句话；have words with Jack 和杰克吵架），securities证券，at the feet of屈服于 名词 3 翻译（注意三个方面）： •1)英语名词复数翻成汉语通常不必表示出来（foreign invaders 外国侵略者，the students学生）•2 补出相应的汉语量词：20 banks 20家银行, 15 fish 15尾（条）鱼 名词 4 •3)如何体现复数概念 •the eastern provinces •rows of new buildings •the Bakers •the first electronic computers •Personal tragedy haunted his entire life, in the deaths of loved ones.参考译文 •东部各省 •一排排新建大楼 •贝克一家 •第一批（代）电子计算机 •亲人们相继去世，使他一生充满了人生悲剧。 动词 1 时态 •1)汉语动词一般没有时态变化，但有时间助词：着，了，过； •2)英语有丰富的时态变化（16种：３种时[现在、过去、将来]，３种态[一般、进行、完成]），而且有些时态还可以表示特定的感情色彩。 动词 2 •(1)You¡¯re always asking me such questions！•你老是问我这样的问题！（用现在进行时表示厌烦） •(2)I am now living in a very pleasant flat． •我现在住在一间非常舒适的公寓里。（用现在进行时表示满意） 动词 3 •传递同样的意思，英语只要选用合适的时态就可以了，汉语则必须使用词汇手段。•It has been noted that those who live，or have lived，in the shadow of death bring a mellow sweetness to everything they do.•(5)His father, who was a good locksmith in the village, is in prison.动词 4 •人们已经注意到大凡受到死亡威胁的人或是死里逃生的人对于他们所干的任何事总是兴趣盎然。 •他的父亲过去是村上有名的锁匠，现在却成了阶下囚。 动词 5 语态 1)汉语重人称，所以句子主语一般都是有生命的，故主动态较多。2)英语重物称，被动语态使用较多。 •It is generally considered that he is a bad egg.大家说他是坏蛋。 (2)Everything he advertised was guaranteed to last ¡°forever¡±.他保证他广告中所登的东西都能永久使用。 代词 •使用频率上的差异：由于英语每个句子、分句都要一个主语，另外所属关系也要明确指出来，所以代词和物主代词的使用频率就很高。 •代词与所指代的实词的先后：英语里代词可前可后，汉语里先实词后代词 代词差异举例 •As we discuss our differences, neither of us will compromise in our principles.But while we cannot close the gulf between us, we can try to bridge it so that we may be able to talk across it.•在讨论分歧时，哪一方都不会在原则上妥协。但是，虽然不能弥合我们之间的鸿沟，我们却能搭一座桥，以便越过鸿沟进行会谈。（省略；转换；还原）参考译文 •In its long history of development, China has formed its own tradition.•在中国的历史长河中，她已经形成了自身的传统。 介词 •英语对介词的使用远远超过汉语 •介词的特殊用法（relations of space and time¡ª>factual or logical¡ª>idiomatic） 介词用法举例 •The street runs westward, across a great black bridge, up a hill and down it again, by little shops and meat-markets, past single-storied homes, until suddenly it stops against a wide green lawn.•The bill is on me.•Don¡¯t go to bed on a full or an empty stomach.参考译文 •大街往西延伸，穿过一座黑色的大桥，翻过山岗，经过许多小铺和肉市，又经过一些平房，然后突然冲着一大片绿色的草地中止了。•我来买单。 •吃的太饱或者空腹都不宜上床睡觉。 词义区分 •词义构成 •词义对应 •词义差异 英汉词义构成的来源 •（１）联想：自行车／脚踏车／单车／洋车（时代背景）bicycle（双轮车）•（２）比喻：画蛇添足/put a fifth wheel to the cart •（３）典故：掩耳盗铃；the Trojan horse •（４）简化：打假（打击假冒伪劣商品）；radar(radio detecting and ranging);WTO(过多简化会闹笑话)；老板，总裁 英汉词义对应 •词语的形成并没有一个固定统一的规律，因此有些词语看起来会显得不太合理：酱油soy（并非油），ladybird(瓢虫);•由于这种随意性，英汉两种语言一致的情况极少（金鱼 gold fish）, 但绝大多数情况下不同（自由体操 floor exercise;） 词义对应关系 •（１）完全对应（少数）（eg:goldfish •（２）部分对应(eg:parent/uncle)•（３）无对应(eg:英语中的教授：professor/assistant prof./associate prof.)•（４）一对多／多对一 词义差异 1 •俯卧 lie on one¡¯s stomach •倒立 stand on one¡¯s head •蛙泳 breast stroke •蝶泳 butterfly(stroke)•双杠 parallel bars •高低杠 high-and-low bars/uneven bars •单杠 horizontal bar • •活字典 walking dictionary 词义差异 2 •Outpatient 门诊病人 •走读生 daily student •Tableware 餐具 •Vacuum flask（原理上讲） 保温杯(功能上讲）•Stopwatch 秒表 •Family tree 家谱 •看手相 read palm tree •Contact lens 隐形眼镜 词义差异 3 •九五折percent discount（five percent off)•座钟 standing clock •三角债 debt chain •三角恋 love triangle 词义差异 4 •传销 pyramid selling •鸡皮疙瘩 gooseflesh •脚踏两条船 fence-sitter •鱼尾纹 crow¡¯s feet •内八字 pigeon-toed •外八字 goose-toed •露马脚 let the cat out of the bag 搭配习惯 1 英汉在词的搭配能力方面往往有差异。 •（１）¡°吃¡± •吃鱼(eat)、吃药(take)；吃闲饭(idle)、吃软饭(live on one¡¯s wife)；吃醋(jealous)、吃老本(draw on your past)；吃苦、吃惊、吃香(popular)、吃官司；吃饭馆、吃食堂 •傍大款/富婆（find a sugar daddy/mummy) 搭配习惯 2 •翻译时应当注意： •--During emergency, people should use the stairs instead of the elevator.•紧急状况下，人们应该走楼道，不要乘电梯。 词序对比 例子： He was daring and resourceful besides being a fine shot.屡战屡败 屡败屡战 有什么吃什么 吃什么有什么 John did not marry Mary because he loved her.状语及定语的位置;大小 前后;因果顺序;否定转移;语序的灵活与相对固定 中考英语词法复习总结 1．掌握所学单词的形态变化，中考英语复习语法。 2．掌握简单句的五种基本句型，四笔头练习基本正确。 3．能理解不复杂的、含有状语从句或宾语从句的复合句。 4．掌握动词的五种基本时态的基本用法。 5．能理解并初步掌握过去进行时、过去完成时和过去将来时的基本用法。 6．掌握一般现在时、一般过去时的被动语态的基本用法。 7．掌握动词不定式作宾语、宾语补足语和状语的用法。 语法知识是在掌握一定量的单词和短语的基础上才能获得的。因此，单词的形态变化和简单句的五种基本句型是语法学习的基础之基础。五种基本时态和含有不复杂的状语从句及宾语从句的复合句是初中毕业班学生学习的重点也是语法学习的难点。五种基本时态中的一般过去时和现在完成时的基本用法及其区别是学习的难点。状语从句中的时态问题，宾语从句中的主语和谓语的语序问题是学生感到头痛的问题。被动语态是中国学生最不喜欢学习和使用的一种语态。因此，学生在学习时，时常感觉到很困难。动词不定式是初中英语语法中的一个重点。不定式在句中作宾语、宾语补足语和状语等用法均要求掌握，特别是一些动词，有些后面要求跟不定式作宾语，有些则要求跟动词一ing形式作宾语。 总之，语法部分是英语学习的重点和难点。语法知识掌握得好，将大大加快英语学习的进程。 语法部分历年来是中考的必考内容。考试的范围广，涉及单词词形变化、基本句子结构、五种基本时态搬动语态、不定式用法以及状语从句、宾语从句，等等。近年来，在教学改革方面加大了对听说教学的力度，初中段以培养学生的交际能力为主，为高中段的英语学习打好基础，对语法知识的要求作了调整，降低了难度，但考查的范围并没有减小。单纯考语法知识的题比以前明显减少。试题往往设置一个情景，在对话中考查时态及基本句型。当然，有些语法项目设置在单句中，如：不定式、被动语态以及词语搭配。 语言学习是一个积累的过程，不记住相当数量的词语、习惯用语。句型和语法规则，是学不好英语的。因此，对词形变换、句型结构、状语从句中的时态以及常用的五种基本时态的考查仍将是中考命题的热点。 动词及其时态是英语学习最重要的部分，也是学习的难点。被动语态也是学习的难点。宾语从句和状语从句是复合句中最重要、最常用的结构，是初中毕业生必须掌握的从句。注意现在时、过去时和将来时及现在完成时的基本用法以及句中的副词的用法，尤其要注意过去时与现在完成时的区别。宾语从句要注意从句结构的语序问题和时态问题；状语从句要注意在时间状语从句和条件状语从句中用一般现在时表示将来时态。动词、时态与语态与从句一定要在大量课文和对话的句子中反复操练，才能真正学会。只要你在复习和应试中注意以上几点，考试就一定能取得好成绩。第三篇：词法分析设计实验报告(附代码)
第四篇：4.英汉词法对比
第五篇：中考英语词法复习总结
点击咨询 