1 lucene簡介

1.1 什么是luceneLucene是一個全文搜索框架，而不是應用產品。因此它并不像www.baidu.com 或者google Desktop那么拿來就能用，它只是提供了一種工具讓你能實現這些產品。1.2 lucene能做什么要回答這個問題，先要了解lucene的本質。實際上lucene的功能很單一，說到底，就是你給它若干個字符串，然后它為你提供一個全文搜索服務，告訴你你要搜索的關鍵詞出現在哪里。知道了這個本質，你就可以發揮想象做任何符合這個條件的事情了。你可以把站內新聞都索引了，做個資料庫；你可以把一個數據庫表的若干個字段索引起來，那就不用再擔心因為“%like%”而鎖表了；你也可以寫個自己的搜索引擎……1.3 你該不該選擇lucene下面給出一些測試數據，如果你覺得可以接受，那么可以選擇。測試一：250萬記錄，300M左右文本，生成索引380M左右，800線程下平均處理時間300ms。測試二：37000記錄，索引數據庫中的兩個varchar字段，索引文件2.6M，800線程下平均處理時間1.5ms。2 lucene的工作方式lucene提供的服務實際包含兩部分：一入一出。所謂入是寫入，即將你提供的源（本質是字符串）寫入索引或者將其從索引中刪除；所謂出是讀出，即向用戶提供全文搜索服務，讓用戶可以通過關鍵詞定位源。2.1寫入流程源字符串首先經過analyzer處理，包括：分詞，分成一個個單詞；去除stopWord（可選）。將源中需要的信息加入Document的各個Field中，并把需要索引的Field索引起來，把需要存儲的Field存儲起來。將索引寫入存儲器，存儲器可以是內存或磁盤。2.2讀出流程用戶提供搜索關鍵詞，經過analyzer處理。對處理后的關鍵詞搜索索引找出對應的Document。用戶根據需要從找到的Document中提取需要的Field。3 一些需要知道的概念lucene用到一些概念，了解它們的含義，有利于下面的講解。3.1 analyzerAnalyzer是分析器，它的作用是把一個字符串按某種規則劃分成一個個詞語，并去除其中的無效詞語，這里說的無效詞語是指英文中的“of”、 “the”，中文中的“的”、“地”等詞語，這些詞語在文章中大量出現，但是本身不包含什么關鍵信息，去掉有利于縮小索引文件、提高效率、提高命中率。分詞的規則千變萬化，但目的只有一個：按語義劃分。這點在英文中比較容易實現，因為英文本身就是以單詞為單位的，已經用空格分開；而中文則必須以某種方法將連成一片的句子劃分成一個個詞語。具體劃分方法下面再詳細介紹，這里只需了解分析器的概念即可。3.2 document用戶提供的源是一條條記錄，它們可以是文本文件、字符串或者數據庫表的一條記錄等等。一條記錄經過索引之后，就是以一個Document的形式存儲在索引文件中的。用戶進行搜索，也是以Document列表的形式返回。3.3 field一個Document可以包含多個信息域，例如一篇文章可以包含“標題”、“正文”、“最后修改時間”等信息域，這些信息域就是通過Field在Document中存儲的。Field有兩個屬性可選：存儲和索引。通過存儲屬性你可以控制是否對這個Field進行存儲；通過索引屬性你可以控制是否對該Field進行索引。這看起來似乎有些廢話，事實上對這兩個屬性的正確組合很重要，下面舉例說明：還是以剛才的文章為例子，我們需要對標題和正文進行全文搜索，所以我們要把索引屬性設置為真，同時我們希望能直接從搜索結果中提取文章標題，所以我們把標題域的存儲屬性設置為真，但是由于正文域太大了，我們為了縮小索引文件大小，將正文域的存儲屬性設置為假，當需要時再直接讀取文件；我們只是希望能從搜索解果中提取最后修改時間，不需要對它進行搜索，所以我們把最后修改時間域的存儲屬性設置為真，索引屬性設置為假。上面的三個域涵蓋了兩個屬性的三種組合，還有一種全為假的沒有用到，事實上Field不允許你那么設置，因為既不存儲又不索引的域是沒有意義的。3.4 termterm是搜索的最小單位，它表示文檔的一個詞語，term由兩部分組成：它表示的詞語和這個詞語所出現的field。3.5 tockentocken是term的一次出現，它包含trem文本和相應的起止偏移，以及一個類型字符串。一句話中可以出現多次相同的詞語，它們都用同一個term表示，但是用不同的tocken，每個tocken標記該詞語出現的地方。3.6 segment添加索引時并不是每個document都馬上添加到同一個索引文件，它們首先被寫入到不同的小文件，然后再合并成一個大索引文件，這里每個小文件都是一個segment。 

Directory dir = new RAMDirectory();  IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);  Document doc = new Document();  doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));  doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));  writer.addDocument(doc);  writer.optimize();  writer.close();  5.3 索引文本文件如果你想把純文本文件索引起來，而不想自己將它們讀入字符串創建field，你可以用下面的代碼創建field：[java] view%20plain copy Field field = new Field("content", new FileReader(file));  這里的file就是該文本文件。該構造函數實際上是讀去文件內容，并對其進行索引，但不存儲。6 如何維護索引索引的維護操作都是由IndexReader類提供。6.1 如何刪除索引lucene提供了兩種從索引中刪除document的方法，一種是[java] view%20plain copy void deleteDocument(int docNum)  這種方法是根據document在索引中的編號來刪除，每個document加進索引后都會有個唯一編號，所以根據編號刪除是一種精確刪除，但是這個編號是索引的內部結構，一般我們不會知道某個文件的編號到底是幾，所以用處不大。另一種是[java] view%20plain copy void deleteDocuments(Term term)  這種方法實際上是首先根據參數term執行一個搜索操作，然后把搜索到的結果批量刪除了。我們可以通過這個方法提供一個嚴格的查詢條件，達到刪除指定document的目的。下面給出一個例子：[java] view%20plain copy Directory dir = FSDirectory.getDirectory(PATH, false);  IndexReader reader = IndexReader.open(dir);  Term term = new Term(field, key);  reader.deleteDocuments(term);  reader.close();  6.2 如何更新索引lucene并沒有提供專門的索引更新方法，我們需要先將相應的document刪除，然后再將新的document加入索引。例如：[java] view%20plain copy Directory dir = FSDirectory.getDirectory(PATH, false);  IndexReader reader = IndexReader.open(dir);  Term term = new Term(“title”, “lucene introduction”);  reader.deleteDocuments(term);  reader.close();    IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);  Document doc = new Document();  doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));  doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED));  writer.addDocument(doc);  writer.optimize();  writer.close();  7 如何搜索lucene的搜索相當強大，它提供了很多輔助查詢類，每個類都繼承自Query類，各自完成一種特殊的查詢，你可以像搭積木一樣將它們任意組合使用，完成一些復雜操作；另外lucene還提供了Sort類對結果進行排序，提供了Filter類對查詢條件進行限制。你或許會不自覺地拿它跟SQL語句進行比較：“lucene能執行and、or、order by、where、like ‘%xx%’操作嗎？”回答是：“當然沒問題！”7.1 各種各樣的Query下面我們看看lucene到底允許我們進行哪些查詢操作：7.1.1 TermQuery首先介紹最基本的查詢，如果你想執行一個這樣的查詢：“在content域中包含‘lucene’的document”，那么你可以用TermQuery：[java] view%20plain copy Term t = new Term("content", " lucene");  Query query = new TermQuery(t);  7.1.2 BooleanQuery如果你想這么查詢：“在content域中包含java或perl的document”，那么你可以建立兩個TermQuery并把它們用BooleanQuery連接起來：[java] view%20plain copy TermQuery termQuery1 = new TermQuery(new Term("content", "java");  TermQuery termQuery 2 = new TermQuery(new Term("content", "perl");  BooleanQuery booleanQuery = new BooleanQuery();  booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD);  booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD);  7.1.3 WildcardQuery如果你想對某單詞進行通配符查詢，你可以用WildcardQuery，通配符包括’?’匹配一個任意字符和’*’匹配零個或多個任意字符，例如你搜索’use*’，你可能找到’useful’或者’useless’：[java] view%20plain copy Query query = new WildcardQuery(new Term("content", "use*");  7.1.4 PhraseQuery你可能對中日關系比較感興趣，想查找‘中’和‘日’挨得比較近（5個字的距離內）的文章，超過這個距離的不予考慮，你可以：[java] view%20plain copy PhraseQuery query = new PhraseQuery();  query.setSlop(5);  query.add(new Term("content ", “中”));  query.add(new Term(“content”, “日”));  那么它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中國某高層領導說日本欠扁”。7.1.5 PrefixQuery query = new PrefixQuery(new Term("content ", "中");  7.1.6 FuzzyQueryFuzzyQuery用來搜索相似的term，使用Levenshtein算法。假設你想搜索跟‘wuzza’相似的詞語，你可以：[java] view%20plain copy Query query = new FuzzyQuery(new Term("content", "wuzza");  你可能得到‘fuzzy’和‘wuzzy’。7.1.7 RangeQuery另一個常用的Query是RangeQuery，你也許想搜索時間域從20060101到20060130之間的document，你可以用RangeQuery：[java] view%20plain copy RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true);  最后的true表示用閉合區間。7.2 QueryParser看了這么多Query，你可能會問：“不會讓我自己組合各種Query吧，太麻煩了！”當然不會，lucene提供了一種類似于SQL語句的查詢語句，我們姑且叫它lucene語句，通過它，你可以把各種查詢一句話搞定，lucene會自動把它們查分成小塊交給相應Query執行。下面我們對應每種Query演示一下：TermQuery可以用“field:key”方式，例如“content:lucene”。BooleanQuery中‘與’用‘+’，‘或’用‘ ’，例如“content:java contenterl”。WildcardQuery仍然用‘?’和‘*’，例如“content:use*”。PhraseQuery用‘~’，例如“content:"中日"~5”。PrefixQuery用‘*’，例如“中*”。FuzzyQuery用‘~’，例如“content: wuzza ~”。RangeQuery用‘[]’或‘{}’，前者表示閉區間，后者表示開區間，例如“time:[20060101 TO 20060130]”，注意TO區分大小寫。你可以任意組合query string，完成復雜操作，例如“標題或正文包括lucene，并且時間在20060101到20060130之間的文章”可以表示為：“+ (title:lucene content:lucene) +time:[20060101 TO 20060130]”。代碼如下：[java] view%20plain copy Directory dir = FSDirectory.getDirectory(PATH, false);  IndexSearcher is = new IndexSearcher(dir);  QueryParser parser = new QueryParser("content", new StandardAnalyzer());  Query query = parser.parse("+(title:lucene content:lucene) +time:[20060101 TO 20060130]";  Hits hits = is.search(query);  for (int i = 0; i < hits.length(); i++)  {  Document doc = hits.doc(i);  System.out.println(doc.get("title");  }  is.close();  首先我們創建一個在指定文件目錄上的IndexSearcher。然后創建一個使用StandardAnalyzer作為分析器的QueryParser，它默認搜索的域是content。接著我們用QueryParser來parse查詢字串，生成一個Query。然后利用這個Query去查找結果，結果以Hits的形式返回。這個Hits對象包含一個列表，我們挨個把它的內容顯示出來。7.3 Filterfilter的作用就是限制只查詢索引的某個子集，它的作用有點像SQL語句里的where，但又有區別，它不是正規查詢的一部分，只是對數據源進行預處理，然后交給查詢語句。注意它執行的是預處理，而不是對查詢結果進行過濾，所以使用filter的代價是很大的，它可能會使一次查詢耗時提高一百倍。最常用的filter是RangeFilter和QueryFilter。RangeFilter是設定只搜索指定范圍內的索引；QueryFilter是在上次查詢的結果中搜索。Filter的使用非常簡單，你只需創建一個filter實例，然后把它傳給searcher。繼續上面的例子，查詢“時間在20060101到20060130之間的文章”除了將限制寫在query string中，你還可以寫在RangeFilter中：[java] view%20plain copy Directory dir = FSDirectory.getDirectory(PATH, false);  IndexSearcher is = new IndexSearcher(dir);  QueryParser parser = new QueryParser("content", new StandardAnalyzer());  Query query = parser.parse("title:lucene content:lucene";  RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true);  Hits hits = is.search(query, filter);  for (int i i < hits.length(); i++)  {  Document doc = hits.doc(i);  System.out.println(doc.get("title");  }  is.close();  7.4 Sort有時你想要一個排好序的結果集，就像SQL語句的“order by”，lucene能做到：通過Sort。[java] view%20plain copy Sort sort Sort(“time”); //相當于SQL的“order by time”  Sort sort = new Sort(“time”, true); // 相當于SQL的“order by time desc”  下面是一個完整的例子：    Directory dir = FSDirectory.getDirectory(PATH, false);  IndexSearcher is = new IndexSearcher(dir);  QueryParser parser = new QueryParser("content", new StandardAnalyzer());  Query query = parser.parse("title:lucene content:lucene";  RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true);  Sort sort = new Sort(“time”);  Hits hits = is.search(query, filter, sort);  for (int i = 0; i < hits.length(); i++)  {  Document doc = hits.doc(i);  System.out.println(doc.get("title");  }  is.close();  8 分析器在前面的概念介紹中我們已經知道了分析器的作用，就是把句子按照語義切分成一個個詞語。英文切分已經有了很成熟的分析器： StandardAnalyzer，很多情況下StandardAnalyzer是個不錯的選擇。甚至你會發現StandardAnalyzer也能對中文進行分詞。但是我們的焦點是中文分詞，StandardAnalyzer能支持中文分詞嗎？實踐證明是可以的，但是效果并不好，搜索“如果”會把“牛奶不如果汁好喝”也搜索出來，而且索引文件很大。那么我們手頭上還有什么分析器可以使用呢？core里面沒有，我們可以在sandbox里面找到兩個： ChineseAnalyzer和CJKAnalyzer。但是它們同樣都有分詞不準的問題。相比之下用StandardAnalyzer和 ChineseAnalyzer建立索引時間差不多，索引文件大小也差不多，CJKAnalyzer表現會差些，索引文件大且耗時比較長。要解決問題，首先分析一下這三個分析器的分詞方式。StandardAnalyzer和ChineseAnalyzer都是把句子按單個字切分，也就是說 “牛奶不如果汁好喝”會被它們切分成“牛 奶 不 如 果 汁 好 喝”；而CJKAnalyzer則會切分成“牛奶 奶不 不如 如果 果汁 汁好好喝”。這也就解釋了為什么搜索“果汁”都能匹配這個句子。以上分詞的缺點至少有兩個：匹配不準確和索引文件大。我們的目標是將上面的句子分解成“牛奶 不如 果汁好喝”。這里的關鍵就是語義識別，我們如何識別“牛奶”是一個詞而“奶不”不是詞語？我們很自然會想到基于詞庫的分詞法，也就是我們先得到一個詞庫，里面列舉了大部分詞語，我們把句子按某種方式切分，當得到的詞語與詞庫中的項匹配時，我們就認為這種切分是正確的。這樣切詞的過程就轉變成匹配的過程，而匹配的方式最簡單的有正向最大匹配和逆向最大匹配兩種，說白了就是一個從句子開頭向后進行匹配，一個從句子末尾向前進行匹配。基于詞庫的分詞詞庫非常重要，詞庫的容量直接影響搜索結果，在相同詞庫的前提下，據說逆向最大匹配優于正向最大匹配。當然還有別的分詞方法，這本身就是一個學科，我這里也沒有深入研究。回到具體應用，我們的目標是能找到成熟的、現成的分詞工具，避免重新發明車輪。經過網上搜索，用的比較多的是中科院的ICTCLAS和一個不開放FSDirectory fsDir = FSDirectory.getDirectory("/data/index", true);  RAMDirectory ramDir = new RAMDirectory();  IndexWriter fsWriter = new IndexWriter(fsDir, new StandardAnalyzer(), true);  IndexWriter ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true);  while (there are documents to index)  {  ... create Document ...  ramWriter.addDocument(doc);  if (condition for flushing memory to disk has been met)  {  fsWriter.addIndexes(new Directory[] { ramDir });  ramWriter.close();  ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true);  }  }  9.1.3 選擇較好的分析器這個優化主要是對磁盤空間的優化，可以將索引文件減小將近一半，相同測試數據下由600M減少到380M。但是對時間并沒有什么幫助，甚至會需要更長時間，因為較好的分析器需要匹配詞庫，會消耗更多cpu，測試數據用StandardAnalyzer耗時133分鐘；用MMAnalyzer耗時150分鐘。9.2 優化搜索性能雖然建立索引的操作非常耗時，但是那畢竟只在最初創建時才需要，平時只是少量的維護操作，更何況這些可以放到一個后臺進程處理，并不影響用戶搜索。我們創建索引的目的就是給用戶搜索，所以搜索的性能才是我們最關心的。下面就來探討一下如何提高搜索性能。9.2.1 將索引放入內存這是一個最直觀的想法，因為內存比磁盤快很多。Lucene提供了RAMDirectory可以在內存中容納索引：[java] view%20plain copy Directory fsDir = FSDirectory.getDirectory(“/data/index/”, false);  Directory ramDir = new RAMDirectory(fsDir);  Searcher searcher = new IndexSearcher(ramDir);  但是實踐證明RAMDirectory和FSDirectory速度差不多，當數據量很小時兩者都非常快，當數據量較大時（索引文件400M）RAMDirectory甚至比FSDirectory還要慢一點，這確實讓人出乎意料。而且lucene的搜索非常耗內存，即使將400M的索引文件載入內存，在運行一段時間后都會out of memory，所以個人認為載入內存的作用并不大。9.2.2 優化時間范圍限制既然載入內存并不能提高效率，一定有其它瓶頸，經過測試發現最大的瓶頸居然是時間范圍限制，那么我們可以怎樣使時間范圍限制的代價最小呢？當需要搜索指定時間范圍內的結果時，可以：1、用RangeQuery，設置范圍，但是RangeQuery的實現實際上是將時間范圍內的時間點展開，組成一個個BooleanClause加入到 BooleanQuery中查詢，因此時間范圍不可能設置太大，經測試，范圍超過一個月就會拋BooleanQuery.TooManyClauses，可以通過設置 BooleanQuery.setMaxClauseCount(int maxClauseCount)擴大，但是擴大也是有限的，并且隨著maxClauseCount擴大，占用內存也擴大2、用RangeFilter代替RangeQuery，經測試速度不會比RangeQuery慢，但是仍然有性能瓶頸，查詢的90%以上時間耗費在 RangeFilter，研究其源碼發現RangeFilter實際上是首先遍歷所有索引，生成一個BitSet，標記每個document，在時間范圍內的標記為true，不在的標記為false，然后將結果傳遞給Searcher查找，這是十分耗時的。3、進一步提高性能，這個又有兩個思路：a、緩存Filter結果。既然RangeFilter的執行是在搜索之前，那么它的輸入都是一定的，就是IndexReader，而 IndexReader是由Directory決定的，所以可以認為RangeFilter的結果是由范圍的上下限決定的，也就是由具體的 RangeFilter對象決定，所以我們只要以RangeFilter對象為鍵，將filter結果BitSet緩存起來即可。lucene API已經提供了一個CachingWrapperFilter類封裝了Filter及其結果，所以具體實施起來我們可以cache CachingWrapperFilter對象，需要注意的是，不要被CachingWrapperFilter的名字及其說明誤導， CachingWrapperFilter看起來是有緩存功能，但的緩存是針對同一個filter的，也就是在你用同一個filter過濾不同 IndexReader時，它可以幫你緩存不同IndexReader的結果，而我們的需求恰恰相反，我們是用不同filter過濾同一個 IndexReader，所以只能把它作為一個封裝類。b、降低時間精度。研究Filter的工作原理可以看出，它每次工作都是遍歷整個索引的，所以時間粒度越大，對比越快，搜索時間越短，在不影響功能的情況下，時間精度越低越好，有時甚至犧牲一點精度也值得，當然最好的情況是根本不作時間限制。下面針對上面的兩個思路演示一下優化結果（都采用800線程隨機關鍵詞隨即時間范圍）：第一組，時間精度為秒：方式 直接用RangeFilter 使用cache 不用filter平均每個線程耗時 10s 1s 300ms第二組，時間精度為天方式 直接用RangeFilter 使用cache 不用filter平均每個線程耗時 900ms 360ms 300ms由以上數據可以得出結論：1、 盡量降低時間精度，將精度由秒換成天帶來的性能提高甚至比使用cache還好，最好不使用filter。2、 在不能降低時間精度的情況下，使用cache能帶了10倍左右的性能提高。9.2.3 使用更好的分析器這個跟創建索引優化道理差不多，索引文件小了搜索自然會加快。當然這個提高也是有限的。較好的分析器相對于最差的分析器對性能的提升在20%以下。10 一些經驗10.1關鍵詞區分大小寫or AND TO等關鍵詞是區分大小寫的，lucene只認大寫的，小寫的當做普通單詞。10.2 讀寫互斥性同一時刻只能有一個對索引的寫操作，在寫的同時可以進行搜索10.3 文件鎖在寫索引的過程中強行退出將在tmp目錄留下一個lock文件，使以后的寫操作無法進行，可以將其手工刪除10.4 時間格式lucene只支持一種時間格式yyMMddHHmmss，所以你傳一個yy-MM-dd HH:mm:ss的時間給lucene它是不會當作時間來處理的10.5 設置boost有些時候在搜索時某個字段的權重需要大一些，例如你可能認為標題中出現關鍵詞的文章比正文中出現關鍵詞的文章更有價值，你可以把標題的boost設置的更大，那么搜索結果會優先顯示標題中出現關鍵詞的文章（沒有使用排序的前題下）。使用方法：Field. setBoost(float boost);默認值是1.0，也就是說要增加權重的需要設置得比1大。