使用元類 · Python 3零起點教程

### type() 動態語言和靜態語言最大的不同，就是函數和類的定義，不是編譯時定義的，而是運行時動態創建的。比方說我們要定義一個`Hello`的class，就寫一個`hello.py`模塊： ~~~ class Hello(object): def hello(self, name='world'): print('Hello, %s.' % name) ~~~ 當Python解釋器載入`hello`模塊時，就會依次執行該模塊的所有語句，執行結果就是動態創建出一個`Hello`的class對象，測試如下： ~~~ >>> from hello import Hello >>> h = Hello() >>> h.hello() Hello, world. >>> print(type(Hello)) <class 'type'> >>> print(type(h)) <class 'hello.Hello'> ~~~ `type()`函數可以查看一個類型或變量的類型，`Hello`是一個class，它的類型就是`type`，而`h`是一個實例，它的類型就是class `Hello`。我們說class的定義是運行時動態創建的，而創建class的方法就是使用`type()`函數。 `type()`函數既可以返回一個對象的類型，又可以創建出新的類型，比如，我們可以通過`type()`函數創建出`Hello`類，而無需通過`class Hello(object)...`的定義： ~~~ >>> def fn(self, name='world'): # 先定義函數 ... print('Hello, %s.' % name) ... >>> Hello = type('Hello', (object,), dict(hello=fn)) # 創建Hello class >>> h = Hello() >>> h.hello() Hello, world. >>> print(type(Hello)) <class 'type'> >>> print(type(h)) <class '__main__.Hello'> ~~~ 要創建一個class對象，`type()`函數依次傳入3個參數： 1. class的名稱； 2. 繼承的父類集合，注意Python支持多重繼承，如果只有一個父類，別忘了tuple的單元素寫法； 3. class的方法名稱與函數綁定，這里我們把函數`fn`綁定到方法名`hello`上。通過`type()`函數創建的類和直接寫class是完全一樣的，因為Python解釋器遇到class定義時，僅僅是掃描一下class定義的語法，然后調用`type()`函數創建出class。正常情況下，我們都用`class Xxx...`來定義類，但是，`type()`函數也允許我們動態創建出類來，也就是說，動態語言本身支持運行期動態創建類，這和靜態語言有非常大的不同，要在靜態語言運行期創建類，必須構造源代碼字符串再調用編譯器，或者借助一些工具生成字節碼實現，本質上都是動態編譯，會非常復雜。 ### metaclass 除了使用`type()`動態創建類以外，要控制類的創建行為，還可以使用metaclass。 metaclass，直譯為元類，簡單的解釋就是：當我們定義了類以后，就可以根據這個類創建出實例，所以：先定義類，然后創建實例。但是如果我們想創建出類呢？那就必須根據metaclass創建出類，所以：先定義metaclass，然后創建類。連接起來就是：先定義metaclass，就可以創建類，最后創建實例。所以，metaclass允許你創建類或者修改類。換句話說，你可以把類看成是metaclass創建出來的“實例”。 metaclass是Python面向對象里最難理解，也是最難使用的魔術代碼。正常情況下，你不會碰到需要使用metaclass的情況，所以，以下內容看不懂也沒關系，因為基本上你不會用到。我們先看一個簡單的例子，這個metaclass可以給我們自定義的MyList增加一個`add`方法：定義`ListMetaclass`，按照默認習慣，metaclass的類名總是以Metaclass結尾，以便清楚地表示這是一個metaclass： ~~~ # metaclass是類的模板，所以必須從`type`類型派生： class ListMetaclass(type): def __new__(cls, name, bases, attrs): attrs['add'] = lambda self, value: self.append(value) return type.__new__(cls, name, bases, attrs) ~~~ 有了ListMetaclass，我們在定義類的時候還要指示使用ListMetaclass來定制類，傳入關鍵字參數`metaclass`： ~~~ class MyList(list, metaclass=ListMetaclass): pass ~~~ 當我們傳入關鍵字參數`metaclass`時，魔術就生效了，它指示Python解釋器在創建`MyList`時，要通過`ListMetaclass.__new__()`來創建，在此，我們可以修改類的定義，比如，加上新的方法，然后，返回修改后的定義。 `__new__()`方法接收到的參數依次是： 1. 當前準備創建的類的對象； 2. 類的名字； 3. 類繼承的父類集合； 4. 類的方法集合。測試一下`MyList`是否可以調用`add()`方法： ~~~ >>> L = MyList() >>> L.add(1) >> L [1] ~~~ 而普通的`list`沒有`add()`方法： ~~~ >>> L2 = list() >>> L2.add(1) Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'list' object has no attribute 'add' ~~~ 動態修改有什么意義？直接在`MyList`定義中寫上`add()`方法不是更簡單嗎？正常情況下，確實應該直接寫，通過metaclass修改純屬變態。但是，總會遇到需要通過metaclass修改類定義的。ORM就是一個典型的例子。 ORM全稱“Object Relational Mapping”，即對象-關系映射，就是把關系數據庫的一行映射為一個對象，也就是一個類對應一個表，這樣，寫代碼更簡單，不用直接操作SQL語句。要編寫一個ORM框架，所有的類都只能動態定義，因為只有使用者才能根據表的結構定義出對應的類來。讓我們來嘗試編寫一個ORM框架。編寫底層模塊的第一步，就是先把調用接口寫出來。比如，使用者如果使用這個ORM框架，想定義一個`User`類來操作對應的數據庫表`User`，我們期待他寫出這樣的代碼： ~~~ class User(Model): # 定義類的屬性到列的映射： id = IntegerField('id') name = StringField('username') email = StringField('email') password = StringField('password') # 創建一個實例： u = User(id=12345, name='Michael', email='test@orm.org', password='my-pwd') # 保存到數據庫： u.save() ~~~ 其中，父類`Model`和屬性類型`StringField`、`IntegerField`是由ORM框架提供的，剩下的魔術方法比如`save()`全部由metaclass自動完成。雖然metaclass的編寫會比較復雜，但ORM的使用者用起來卻異常簡單。現在，我們就按上面的接口來實現該ORM。首先來定義`Field`類，它負責保存數據庫表的字段名和字段類型： ~~~ class Field(object): def __init__(self, name, column_type): self.name = name self.column_type = column_type def __str__(self): return '<%s:%s>' % (self.__class__.__name__, self.name) ~~~ 在`Field`的基礎上，進一步定義各種類型的`Field`，比如`StringField`，`IntegerField`等等： ~~~ class StringField(Field): def __init__(self, name): super(StringField, self).__init__(name, 'varchar(100)') class IntegerField(Field): def __init__(self, name): super(IntegerField, self).__init__(name, 'bigint') ~~~ 下一步，就是編寫最復雜的`ModelMetaclass`了： ~~~ class ModelMetaclass(type): def __new__(cls, name, bases, attrs): if name=='Model': return type.__new__(cls, name, bases, attrs) print('Found model: %s' % name) mappings = dict() for k, v in attrs.items(): if isinstance(v, Field): print('Found mapping: %s ==> %s' % (k, v)) mappings[k] = v for k in mappings.keys(): attrs.pop(k) attrs['__mappings__'] = mappings # 保存屬性和列的映射關系 attrs['__table__'] = name # 假設表名和類名一致 return type.__new__(cls, name, bases, attrs) ~~~ 以及基類`Model`： ~~~ class Model(dict, metaclass=ModelMetaclass): def __init__(self, **kw): super(Model, self).__init__(**kw) def __getattr__(self, key): try: return self[key] except KeyError: raise AttributeError(r"'Model' object has no attribute '%s'" % key) def __setattr__(self, key, value): self[key] = value def save(self): fields = [] params = [] args = [] for k, v in self.__mappings__.items(): fields.append(v.name) params.append('?') args.append(getattr(self, k, None)) sql = 'insert into %s (%s) values (%s)' % (self.__table__, ','.join(fields), ','.join(params)) print('SQL: %s' % sql) print('ARGS: %s' % str(args)) ~~~ 當用戶定義一個`class User(Model)`時，Python解釋器首先在當前類`User`的定義中查找`metaclass`，如果沒有找到，就繼續在父類`Model`中查找`metaclass`，找到了，就使用`Model`中定義的`metaclass`的`ModelMetaclass`來創建`User`類，也就是說，metaclass可以隱式地繼承到子類，但子類自己卻感覺不到。在`ModelMetaclass`中，一共做了幾件事情： 1. 排除掉對`Model`類的修改； 2. 在當前類（比如`User`）中查找定義的類的所有屬性，如果找到一個Field屬性，就把它保存到一個`__mappings__`的dict中，同時從類屬性中刪除該Field屬性，否則，容易造成運行時錯誤（實例的屬性會遮蓋類的同名屬性）； 3. 把表名保存到`__table__`中，這里簡化為表名默認為類名。在`Model`類中，就可以定義各種操作數據庫的方法，比如`save()`，`delete()`，`find()`，`update`等等。我們實現了`save()`方法，把一個實例保存到數據庫中。因為有表名，屬性到字段的映射和屬性值的集合，就可以構造出`INSERT`語句。編寫代碼試試： ~~~ u = User(id=12345, name='Michael', email='test@orm.org', password='my-pwd') u.save() ~~~ 輸出如下： ~~~ Found model: User Found mapping: email ==> <StringField:email> Found mapping: password ==> <StringField:password> Found mapping: id ==> <IntegerField:uid> Found mapping: name ==> <StringField:username> SQL: insert into User (password,email,username,id) values (?,?,?,?) ARGS: ['my-pwd', 'test@orm.org', 'Michael', 12345] ~~~ 可以看到，`save()`方法已經打印出了可執行的SQL語句，以及參數列表，只需要真正連接到數據庫，執行該SQL語句，就可以完成真正的功能。不到100行代碼，我們就通過metaclass實現了一個精簡的ORM框架。 ### 小結 metaclass是Python中非常具有魔術性的對象，它可以改變類創建時的行為。這種強大的功能使用起來務必小心。 ### 參考源碼 [create_class_on_the_fly.py](https://github.com/michaelliao/learn-python3/blob/master/samples/oop_advance/create_class_on_the_fly.py) [use_metaclass.py](https://github.com/michaelliao/learn-python3/blob/master/samples/oop_advance/use_metaclass.py) [orm.py](https://github.com/michaelliao/learn-python3/blob/master/samples/oop_advance/orm.py)