sphinx · 個人筆記

#定義一個數據源 source search_main { #定義數據庫類型 type = mysql #定義數據庫的IP或者計算機名 sql_host = localhost #定義連接數據庫的帳號 sql_user = root #定義鏈接數據庫的密碼 sql_pass = test123 #定義數據庫名稱 sql_db = test #定義連接數據庫后取數據之前執行的SQL語句 sql_query_pre = SET NAMES utf8 sql_query_pre = SET SESSION query_cache_type=OFF #創建一個sph_counter用于增量索引 sql_query_pre = CREATE TABLE IF NOT EXISTS sph_counter ( counter_id INTEGER PRIMARY KEY NOT NULL,max_doc_id INTEGER NOT NULL) #取數據之前將表的最大id記錄到sph_counter表中 sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(searchid) FROM v9_search #定義取數據的SQL，第一列ID列必須為唯一的正整數值 sql_query = SELECT searchid,typeid,id,adddate,data FROM v9_search where searchid<( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) and searchid>=$start AND searchid<=$end # sql_attr_uint和sql_attr_timestamp用于定義用于api過濾或者排序，寫多行制定多列 sql_attr_uint = typeid sql_attr_uint = id sql_attr_timestamp = adddate #分區查詢設置 sql_query_range = SELECT MIN(searchid),MAX(searchid) FROM v9_search #分區查詢的步長 sql_range_step = 1000 #設置分區查詢的時間間隔 sql_ranged_throttle = 0 #用于CLI的調試 sql_query_info = SELECT * FROM v9_search WHERE searchid=$id } #定義一個增量的源 source search_main_delta : search_main { sql_query_pre = set names utf8 #增量源只查詢上次主索引生成后新增加的數據 #如果新增加的searchid比主索引建立時的searchid還小那么會漏掉 sql_query = SELECT searchid,typeid,id,adddate,data FROM v9_search where searchid>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) and searchid>=$start AND searchid<=$end sql_query_range = SELECT MIN(searchid),MAX(searchid) FROM v9_search where searchid>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) } #定義一個index_search_main索引 index index_search_main { #設置索引的源 source = search_main #設置生成的索引存放路徑 path = /usr/local/coreseek/var/data/index_search_main #定義文檔信息的存儲模式，extern表示文檔信息和文檔id分開存儲 docinfo = extern #設置已緩存數據的內存鎖定，為0表示不鎖定 mlock = 0 #設置詞形處理器列表，設置為none表示不使用任何詞形處理器 morphology = none #定義最小索引詞的長度 min_word_len = 1 #設置字符集編碼類型，我這里采用的utf8編碼和數據庫的一致 charset_type = zh_cn.utf-8 #指定分詞讀取詞典文件的位置 charset_dictpath = /usr/local/mmseg3/etc #不被搜索的詞文件里表。 stopwords = /usr/local/coreseek/var/data/stopwords.txt #定義是否從輸入全文數據中取出HTML標記 html_strip = 0 } #定義增量索引 index index_search_main_delta : index_search_main { source = search_main_delta path = /usr/local/coreseek/var/data/index_search_main_delta } #定義indexer配置選項 indexer { #定義生成索引過程使用索引的限制 mem_limit = 512M } #定義searchd守護進程的相關選項 searchd { #定義監聽的IP和端口 #listen = 127.0.0.1 #listen = 172.16.88.100:3312 listen = 3312 listen = /var/run/searchd.sock #定義log的位置 log = /usr/local/coreseek/var/log/searchd.log #定義查詢log的位置 query_log = /usr/local/coreseek/var/log/query.log #定義網絡客戶端請求的讀超時時間 read_timeout = 5 #定義子進程的最大數量 max_children = 300 #設置searchd進程pid文件名 pid_file = /usr/local/coreseek/var/log/searchd.pid #定義守護進程在內存中為每個索引所保持并返回給客戶端的匹配數目的最大值 max_matches = 100000 #啟用無縫seamless輪轉，防止searchd輪轉在需要預取大量數據的索引時停止響應 #也就是說在任何時刻查詢都可用，或者使用舊索引，或者使用新索引 seamless_rotate = 1 #配置在啟動時強制重新打開所有索引文件 preopen_indexes = 1 #設置索引輪轉成功以后刪除以.old為擴展名的索引拷貝 unlink_old = 1 # MVA更新池大小，這個參數不太明白 mva_updates_pool = 1M #最大允許的包大小 max_packet_size = 32M #最大允許的過濾器數 max_filters = 256 #每個過濾器最大允許的值的個數 max_filter_values = 4096 }