`lex.py`是用來將輸入字符串標記化。例如，假設你正在設計一個編程語言，用戶的輸入字符串如下： ~~~ x = 3 + 42 * (s - t) ~~~ 標記器將字符串分割成獨立的標記： ~~~ 'x','=', '3', '+', '42', '*', '(', 's', '-', 't', ')' ~~~ 標記通常用一組名字來命名和表示： ~~~ 'ID','EQUALS','NUMBER','PLUS','NUMBER','TIMES','LPAREN','ID','MINUS','ID','RPAREN' ~~~ 將標記名和標記值本身組合起來： ~~~ ('ID','x'), ('EQUALS','='), ('NUMBER','3'),('PLUS','+'), ('NUMBER','42), ('TIMES','*'),('LPAREN','('), ('ID','s'),('MINUS','-'),('ID','t'), ('RPAREN',') ~~~ 正則表達式是描述標記規則的典型方法，下一節展示如何用lex.py實現。