PLY包含兩個獨立的模塊:`lex.py`和`yacc.py`,都定義在ply包下。lex.py模塊用來將輸入字符通過一系列的正則表達式分解成標記序列,yacc.py通過一些上下文無關的文法來識別編程語言語法。yacc.py使用LR解析法,并使用LALR(1)算法(默認)或者SLR算法生成分析表。
這兩個工具是為了一起工作的。lex.py通過向外部提供`token()`方法作為接口,方法每次會從輸入中返回下一個有效的標記。yacc.py將會不斷的調用這個方法來獲取標記并匹配語法規則。yacc.py的的功能通常是生成抽象語法樹(`AST`),不過,這完全取決于用戶,如果需要,yacc.py可以直接用來完成簡單的翻譯。
就像相應的unix工具,yacc.py提供了大多數你期望的特性,其中包括:豐富的錯誤檢查、語法驗證、支持空產生式、錯誤的標記、通過優先級規則解決二義性。事實上,傳統yacc能夠做到的PLY都應該支持。
yacc.py與Unix下的yacc的主要不同之處在于,yacc.py沒有包含一個獨立的代碼生成器,而是在PLY中依賴反射來構建詞法分析器和語法解析器。不像傳統的lex/yacc工具需要一個獨立的輸入文件,并將之轉化成一個源文件,Python程序必須是一個可直接可用的程序,這意味著不能有額外的源文件和特殊的創建步驟(像是那種執行yacc命令來生成Python代碼)。又由于生成分析表開銷較大,PLY會緩存生成的分析表,并將它們保存在獨立的文件中,除非源文件有變化,會重新生成分析表,否則將從緩存中直接讀取。
- 0 一些翻譯約定
- 1 前言和預備
- 2 介紹
- 3 PLY概要
- 4 Lex
- 4.1 Lex的例子
- 4.2 標記列表
- 4.3 標記的規則
- 4.4 標記的值
- 4.5 丟棄標記
- 4.6 行號和位置信息
- 4.7 忽略字符
- 4.8 字面字符
- 4.9 錯誤處理
- 4.10 構建和使用lexer
- 4.11 @TOKEN裝飾器
- 4.12 優化模式
- 4.13 調試
- 4.14 其他方式定義詞法規則
- 4.15 額外狀態維護
- 4.16 Lexer克隆
- 4.17 Lexer的內部狀態
- 4.18 基于條件的掃描和啟動條件
- 4.19 其他問題
- 5 語法分析基礎
- 6 Yacc
- 6.1 一個例子
- 6.2 將語法規則合并
- 6.3 字面字符
- 6.4 空產生式
- 6.5 改變起始符號
- 6.6 處理二義文法
- 6.7 parser.out調試文件
- 6.8 處理語法錯誤
- 6.9 行號和位置的跟蹤
- 6.10 構造抽象語法樹
- 6.11 嵌入式動作
- 6.12 Yacc的其他
- 7 多個語法和詞法分析器
- 8 使用Python的優化模式
- 9 高級調試
- 9.1 調試lex()和yacc()命令
- 9.2 運行時調試
- 10 如何繼續