PLY是純粹由Python實現的Lex和yacc(流行的編譯器構建工具)。PLY的設計目標是盡可能的沿襲傳統lex和yacc工具的工作方式,包括支持LALR(1)分析法、提供豐富的輸入驗證、錯誤報告和診斷。因此,如果你曾經在其他編程語言下使用過yacc,你應該能夠很容易的遷移到PLY上。
2001年,我在芝加哥大學教授“編譯器簡介”課程時開發了的早期的PLY。學生們使用Python和PLY構建了一個類似Pascal的語言的完整編譯器,其中的語言特性包括:詞法分析、語法分析、類型檢查、類型推斷、嵌套作用域,并針對SPARC處理器生成目標代碼等。最終他們大約實現了30種不同的編譯器!PLY在接口設計上影響使用的問題也被學生們所提出。從2001年以來,PLY繼續從用戶的反饋中不斷改進。為了適應對未來的改進需求,PLY3.0在原來基礎上進行了重大的重構。
由于PLY是作為教學工具來開發的,你會發現它對于標記和語法規則是相當嚴謹的,這一定程度上是為了幫助新手用戶找出常見的編程錯誤。不過,高級用戶也會發現這有助于處理真實編程語言的復雜語法。還需要注意的是,PLY沒有提供太多花哨的東西(例如,自動構建抽象語法樹和遍歷樹),我也不認為它是個分析框架。相反,你會發現它是一個用Python實現的,基本的,但能夠完全勝任的lex/yacc。
本文的假設你多少熟悉分析理論、語法制導的翻譯、基于其他編程語言使用過類似lex和yacc的編譯器構建工具。如果你對這些東西不熟悉,你可能需要先去一些書籍中學習一些基礎,比如:Aho, Sethi和Ullman的《Compilers: Principles, Techniques, and Tools》(《編譯原理》),和O’Reilly’出版的John Levine的《lex and yacc》。事實上,《lex and yacc》和PLY使用的概念幾乎相同。
- 0 一些翻譯約定
- 1 前言和預備
- 2 介紹
- 3 PLY概要
- 4 Lex
- 4.1 Lex的例子
- 4.2 標記列表
- 4.3 標記的規則
- 4.4 標記的值
- 4.5 丟棄標記
- 4.6 行號和位置信息
- 4.7 忽略字符
- 4.8 字面字符
- 4.9 錯誤處理
- 4.10 構建和使用lexer
- 4.11 @TOKEN裝飾器
- 4.12 優化模式
- 4.13 調試
- 4.14 其他方式定義詞法規則
- 4.15 額外狀態維護
- 4.16 Lexer克隆
- 4.17 Lexer的內部狀態
- 4.18 基于條件的掃描和啟動條件
- 4.19 其他問題
- 5 語法分析基礎
- 6 Yacc
- 6.1 一個例子
- 6.2 將語法規則合并
- 6.3 字面字符
- 6.4 空產生式
- 6.5 改變起始符號
- 6.6 處理二義文法
- 6.7 parser.out調試文件
- 6.8 處理語法錯誤
- 6.9 行號和位置的跟蹤
- 6.10 構造抽象語法樹
- 6.11 嵌入式動作
- 6.12 Yacc的其他
- 7 多個語法和詞法分析器
- 8 使用Python的優化模式
- 9 高級調試
- 9.1 調試lex()和yacc()命令
- 9.2 運行時調試
- 10 如何繼續