? ? ? ? 在上次的zipmap分析完之后,其實關于redis源代碼結構體部分的內容其實已經全部結束了,因為下面還有幾個和結構體相關的操作類,就頁把他們歸并到struct包下了。這類的文件有:t_hash.c,z_list,z_set.c,t_string.c,t_zset.c,這些文件的功能其實都差不多,就是用來實現Client和Server之間的命令處理的操作類,通過robj的形式,把dict,ziplist等存入robj中,進行各個轉換,實現命令操作。避開了結構體原先的復雜結構,相當于是封裝了結構體的操作類,今天我所講的是t_hash,是dict哈希字典,ziplist壓縮列表與robj之間的轉換。統稱hashType類型。由于此文件無頭文件,只有.c文件,所以為了方便學習,我把方法拉了出來。
~~~
/* 下面是方法的歸類 */
void hashTypeTryConversion(robj *o, robj **argv, int start, int end) /* 當hashType為ziplist時,判斷對象長度是否超出了服務端可接受的ziplist最大長度,超過則轉成哈希字典類型*/
void hashTypeTryObjectEncoding(robj *subject, robj **o1, robj **o2) /* 當robj用的是字典的編碼方式的時候,則經過編碼轉換 */
int hashTypeGetFromZiplist(robj *o, robj *field,unsigned char **vstr,unsigned int *vlen,long long *vll) /* 獲取ziplist壓縮列表中的某個索引位置上的值 */
int hashTypeGetFromHashTable(robj *o, robj *field, robj **value) /* 獲取哈希字典中的某個值 */
robj *hashTypeGetObject(robj *o, robj *field) /* 獲取某個key對應的對象類型 */
int hashTypeExists(robj *o, robj *field) /* hastType類型判斷某個鍵是否存在 */
int hashTypeSet(robj *o, robj *field, robj *value) /* hashType設置操作,分2種情況,ziplist,和字典hashtable */
int hashTypeDelete(robj *o, robj *field) /* hashType刪除操作,分為ziplist的刪除操作,和hashtable的刪除操作 */
unsigned long hashTypeLength(robj *o) /* hashType求長度操作 */
hashTypeIterator *hashTypeInitIterator(robj *subject) /* 獲取hashType迭代器 */
void hashTypeReleaseIterator(hashTypeIterator *hi) /* 釋放hashType迭代器 */
int hashTypeNext(hashTypeIterator *hi) /* 通過hashType迭代器獲取下一個元素 */
void hashTypeCurrentFromZiplist(hashTypeIterator *hi, int what,unsigned char **vstr,unsigned int *vlen,long long *vll) /* 根據當前迭代器的位置,獲取當前ziplist的所在位置的key位置,或value該位置上的值 */
void hashTypeCurrentFromHashTable(hashTypeIterator *hi, int what, robj **dst) /* 根據當前迭代器的位置,獲取當前dict的所在位置的key位置,或value該位置上的值 */
robj *hashTypeCurrentObject(hashTypeIterator *hi, int what) /* 根據當前迭代器的位置,獲取當前key對象 */
robj *hashTypeLookupWriteOrCreate(redisClient *c, robj *key) /* 根據c客戶端對象,找到key是否存在,創建或實現添加操作 */
void hashTypeConvertZiplist(robj *o, int enc) /* 從ziplist壓縮表到hashtable的轉換 */
void hashTypeConvert(robj *o, int enc) /* 對象轉換操作,例如從ziplist到dict的轉換 */
~~~
hashType的相關操作命令類,其實就是對上面方法的結合調用:
~~~
/* 哈希命令類型 */
void hsetCommand(redisClient *c) /* 客戶端設置指令 */
void hsetnxCommand(redisClient *c) /* 客戶端設置下一個位置指令 */
void hmsetCommand(redisClient *c) /* 客戶單設置命令,如果沒有key,還有后續操作 */
void hincrbyCommand(redisClient *c) /* 客戶端添加value值操作 */
void hincrbyfloatCommand(redisClient *c) /* 客戶端添加float類型value值操作 */
static void addHashFieldToReply(redisClient *c, robj *o, robj *field) /* */
void hgetCommand(redisClient *c) /* 客戶端獲取操作,如果沒找到,直接不做任何操作 */
void hmgetCommand(redisClient *c) /* 客戶端獲取key操作,如果為空,會返回一些了NULL值 */
void hdelCommand(redisClient *c) /* 客戶端刪除操作 */
void hlenCommand(redisClient *c) /* 客戶端求長度命令 */
static void addHashIteratorCursorToReply(redisClient *c, hashTypeIterator *hi, int what) /* 客戶端添加hashType迭代器操作 */
void genericHgetallCommand(redisClient *c, int flags) /* 客戶端獲取操作原始方法,可以添加flag參數 */
void hkeysCommand(redisClient *c) /* 客戶端獲取key值命令 */
void hvalsCommand(redisClient *c) /* 客戶端獲取val值命令 */
void hgetallCommand(redisClient *c) /* 客戶端獲取key;value 2個值都獲取 */
void hexistsCommand(redisClient *c) /* 客戶端判斷記錄是否存在操作 */
void hscanCommand(redisClient *c) /* 客戶端掃描操作 */
~~~
robj的操作實現轉換的原理很簡單,rob通過里面的ptr指針,存的就是真實的ziplist或者dict哈希總類,然后后面的操作都是基于此進行的,比如說下面的方法:
~~~
/* Get the value from a hash table encoded hash, identified by field.
* Returns -1 when the field cannot be found. */
/* 獲取哈希字典中的某個值 */
int hashTypeGetFromHashTable(robj *o, robj *field, robj **value) {
dictEntry *de;
redisAssert(o->encoding == REDIS_ENCODING_HT);
//通過robj->ptr里面存的dict總類或ziplist類開始尋找
de = dictFind(o->ptr, field);
if (de == NULL) return -1;
//獲取其中的value值
*value = dictGetVal(de);
return 0;
}
~~~
所有關于robj的相關結構體操作都會分成為2種情況處理,ZIPLIST和HASH類型就是dict類型,而且操作ziplist類型的時候要進行轉碼處理,當然在進行ziplist存入robj的時候要進行編碼操作,可見,設計者在考慮到命令傳輸的時候想得還是很周到了,也考慮了安全的問題。
~~~
/* Add an element, discard the old if the key already exists.
* Return 0 on insert and 1 on update.
* This function will take care of incrementing the reference count of the
* retained fields and value objects. */
/* hashType設置操作,分2種情況,ziplist,和字典hashtable */
int hashTypeSet(robj *o, robj *field, robj *value) {
int update = 0;
if (o->encoding == REDIS_ENCODING_ZIPLIST) {
unsigned char *zl, *fptr, *vptr;
//首先對field和value進行解碼
field = getDecodedObject(field);
value = getDecodedObject(value);
zl = o->ptr;
fptr = ziplistIndex(zl, ZIPLIST_HEAD);
if (fptr != NULL) {
fptr = ziplistFind(fptr, field->ptr, sdslen(field->ptr), 1);
if (fptr != NULL) {
/* Grab pointer to the value (fptr points to the field) */
vptr = ziplistNext(zl, fptr);
redisAssert(vptr != NULL);
update = 1;
//設置的操作,其實先刪除,再插入語一個新值
/* Delete value */
zl = ziplistDelete(zl, &vptr);
/* Insert new value */
zl = ziplistInsert(zl, vptr, value->ptr, sdslen(value->ptr));
}
}
if (!update) {
/* Push new field/value pair onto the tail of the ziplist */
zl = ziplistPush(zl, field->ptr, sdslen(field->ptr), ZIPLIST_TAIL);
zl = ziplistPush(zl, value->ptr, sdslen(value->ptr), ZIPLIST_TAIL);
}
o->ptr = zl;
//用完之后,引用計數遞減
decrRefCount(field);
decrRefCount(value);
/* Check if the ziplist needs to be converted to a hash table */
if (hashTypeLength(o) > server.hash_max_ziplist_entries)
hashTypeConvert(o, REDIS_ENCODING_HT);
} else if (o->encoding == REDIS_ENCODING_HT) {
//如果是字典,直接替換
if (dictReplace(o->ptr, field, value)) { /* Insert */
incrRefCount(field);
} else { /* Update */
update = 1;
}
//用完之后,引用計數遞減
incrRefCount(value);
} else {
redisPanic("Unknown hash encoding");
}
return update;
}
~~~
在這個過程中,redis代碼中還用到了一個引用計數的東西,應該是為了合理的內存釋放控制,在很多地方可以看到這樣的操作;
~~~
/* Higher level function of hashTypeGet*() that always returns a Redis
* object (either new or with refcount incremented), so that the caller
* can retain a reference or call decrRefCount after the usage.
*
* The lower level function can prevent copy on write so it is
* the preferred way of doing read operations. */
/* 獲取某個key的對象 */
robj *hashTypeGetObject(robj *o, robj *field) {
robj *value = NULL;
if (o->encoding == REDIS_ENCODING_ZIPLIST) {
unsigned char *vstr = NULL;
unsigned int vlen = UINT_MAX;
long long vll = LLONG_MAX;
if (hashTypeGetFromZiplist(o, field, &vstr, &vlen, &vll) == 0) {
//在ziplist中獲取值
if (vstr) {
value = createStringObject((char*)vstr, vlen);
} else {
value = createStringObjectFromLongLong(vll);
}
}
} else if (o->encoding == REDIS_ENCODING_HT) {
robj *aux;
if (hashTypeGetFromHashTable(o, field, &aux) == 0) {
//對象被引用了,計數遞增
incrRefCount(aux);
value = aux;
}
} else {
redisPanic("Unknown hash encoding");
}
return value;
}
~~~
客戶端的命令操作其實是基于一個叫redisClient的對象,這個其實也就是robj對象,命令傳輸時,這個robj->ptr存著,具體的數據,robj->args[]存放了各種參數,后面就是調用前面的方法了,唯一不一樣的是,命令調用后要有回復和更新通知操作。,下面是一個設置的命令;
~~~
/* hashType處理客戶端的命令請求 */
void hsetCommand(redisClient *c) {
int update;
robj *o;
if ((o = hashTypeLookupWriteOrCreate(c,c->argv[1])) == NULL) return;
hashTypeTryConversion(o,c->argv,2,3);
hashTypeTryObjectEncoding(o,&c->argv[2], &c->argv[3]);
//命令的操作都是通過,客戶端中的對象,和存在于里面的命令參數組成
update = hashTypeSet(o,c->argv[2],c->argv[3]);
//操作完添加回復
addReply(c, update ? shared.czero : shared.cone);
//發送通知表示命令執行完畢,預測者會觸發窗口上的顯示
signalModifiedKey(c->db,c->argv[1]);
notifyKeyspaceEvent(REDIS_NOTIFY_HASH,"hset",c->argv[1],c->db->id);
//客戶端命令執行成功,因為客戶單此時的數據時最新的,服務端的臟數據就自然多了一個,
server.dirty++;
}
~~~
其他命令與此類似,就不說了。可以看見,現在慢慢的能夠略微向邏輯層的代碼靠近了,后面的代碼也一定非常精彩。
- 前言
- (一)--Redis結構解析
- (二)--結構體分析(1)
- (三)---dict哈希結構
- (四)-- sds字符串
- (五)--- sparkline微線圖
- (六)--- ziplist壓縮列表
- (七)--- zipmap壓縮圖
- (八)--- t_hash哈希轉換
- (九)--- t_list,t_string的分析
- (十)--- testhelp.h小型測試框架和redis-check-aof.c日志檢測
- (十一)--- memtest內存檢測
- (十二)--- redis-check-dump本地數據庫檢測
- (十三)--- redis-benchmark性能測試
- (十四)--- rdb.c本地數據庫操作
- (十五)--- aof-append only file解析
- (十六)--- config配置文件
- (十七)--- multi事務操作
- (十八)--- db.c內存數據庫操作
- (十九)--- replication主從數據復制的實現
- (二十)--- ae事件驅動
- (二十一)--- anet網絡通信的封裝
- (二十二)--- networking網絡協議傳輸
- (二十三)--- CRC循環冗余算法和RAND隨機數算法
- (二十四)--- tool工具類(2)
- (二十五)--- zmalloc內存分配實現
- (二十六)--- slowLog和hyperloglog
- (二十七)--- rio系統I/O的封裝
- (二十八)--- object創建和釋放redisObject對象
- (二十九)--- bio后臺I/O服務的實現
- (三十)--- pubsub發布訂閱模式
- (三十一)--- latency延遲分析處理
- (三十二)--- redis-cli.c客戶端命令行接口的實現(1)
- (三十三)--- redis-cli.c客戶端命令行接口的實現(2)
- (三十四)--- redis.h服務端的實現分析(1)
- (三十五)--- redis.c服務端的實現分析(2)
- (三十六)--- Redis中的11大優秀設計