| 源程序可以简单地被看成是一个多行的字符串。词法分析阶段是编译过程的第一阶段，这个阶段的任务是对源程序从前到后（从左到右）逐个字符地扫描，从中识别出一个个“单词”符号。“单词”符号是程序设计语言的基本语法单位，如关键字（或称保留字）、标识符、常数、运算符和分隔符（如标点符号、左右括号）等。词法分析程序输出的“单词”常以二元组的方式输出，即单词类别和单词自身的值。
|
|
|
| 词法分析过程依据的是语言的词法规则，即描述“单词”结构的规则。例如，对于某Pascal源程序中的一条声明语句和赋值语句：
|
|
|
|
|
| 词法分析阶段将构成这条语句的字符串分割成如下17个单词序列：
|
|
|
|
|
| 对于标识符X、Y、Z，其单词类别都是id（用户标识符），字符串"X""Y""Z"都是单词的值；而对于单词60，整常数是该单词的类别，60是该单词的值。这里用id1、id2和id3分别代表X、Y和Z，强调标识符的内部标识由于组成该标识符的字符串不同而有所区别。经过词法分析后，声明语句VAR X，Y，Z：real；表示为VAR id1，id2，id3：real，赋值语句X:=Y+Z*60；表示为id1:=id2+id3*60；。
|
|
|
