使用Lucene.Net做一個簡單的搜尋引擎-全文索引
阿新 • • 發佈：2020-03-01
Lucene.Net
Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎。
Lucene.net是Apache軟體基金會贊助的開源專案，基於Apache License協議。
Lucene.net並不是一個爬行搜尋引擎，也不會自動地索引內容。我們得先將要索引的文件中的文字抽取出來，然後再將其加到Lucene.net索引中。標準的步驟是先初始化一個Analyzer、開啟一個IndexWriter、然後再將文件一個接一個地加進去。一旦完成這些步驟，索引就可以在關閉前得到優化，同時所做的改變也會生效。這個過程可能比開發者習慣的方式更加手工化一些，但卻在資料的索引上給予你更多的靈活性，而且其效率也很高。
官網：http://lucenenet.apache.org/
GitHub: https://github.com/apache/lucenenet
新增nuget包引用
首先我們要在專案中引用Lucene.Net的相關引用，不同的語言要使用的分析器（Analyzer）是不一樣的，這裡我們使用Lucene.Net.Analysis.SmartCn來做示例，用於分析中文。當前Lucene.Net.Analysis.SmartCn包還未釋出正式版，所以搜尋時要勾選“包括預發行版本”：
IndexWriter
IndexWriter
Index_Data目錄：
static IndexWriter GetIndexWriter()
{
var dir = FSDirectory.Open("Index_Data");
Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
var indexConfig = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer);
IndexWriter writer = new IndexWriter(dir, indexConfig);
return writer;
}有了IndexWriter，我們就可以將文件索引進來了：
static void WriteDocument(string url, string title, string keywords, string description)
{
using (var writer = GetIndexWriter())
{
writer.DeleteDocuments(new Term("url", url));
Document doc = new Document();
doc.Add(new StringField("url", url, Field.Store.YES));
TextField titleField = new TextField("title", title, Field.Store.YES);
titleField.Boost = 3F;
TextField keywordField = new TextField("keyword", keywords, Field.Store.YES);
keywordField.Boost = 2F;
TextField descriptionField = new TextField("description", description, Field.Store.YES);
descriptionField.Boost = 1F;
doc.Add(titleField);
doc.Add(keywordField);
doc.Add(descriptionField);
writer.AddDocument(doc);
writer.Flush(triggerMerge: true, applyAllDeletes: true);
writer.Commit();
}
}
對程式碼做一些簡單的說明，在例項化一個Document後，需要在Document裡面新增一些欄位：
- StringField：將該欄位索引，但不會做語意拆分
- TextField：索引器會對該欄位進行拆分後再索引
- Boost：即權重，比如標題（3F）和關鍵字（2F）都匹配的話，以標題為優先排在前面
現在我們已經可以將文件索引起來了，我們將索引一個頁面：
WriteDocument("https://www.zkea.net/index",
"紙殼CMS開源免費視覺化設計內容管理系統",
"紙殼CMS，ZKEACMS，視覺化設計，視覺化CMS",
"紙殼CMS（ZKEACMS）是開源的建站系統，您可以直接使用它來做為您的企業網站，入口網站或者個人網站，部落格");
Index_Data目錄將會生成一些索引檔案：
有了索引，接下來要做的就是搜尋了。
IndexSearcher
因為使用者在搜尋的時候並不單單隻輸入關鍵字，很可能輸入的是詞、句，所以在搜尋之前，我們還要對搜尋語句進行分析，拆解出裡面的關鍵詞後再進行搜尋。
static List<string> GetKeyWords(string q)
{
List<string> keyworkds = new List<string>();
Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
using (var ts = analyzer.GetTokenStream(null, q))
{
ts.Reset();
var ct = ts.GetAttribute<Lucene.Net.Analysis.TokenAttributes.ICharTermAttribute>();
while (ts.IncrementToken())
{
StringBuilder keyword = new StringBuilder();
for (int i = 0; i < ct.Length; i++)
{
keyword.Append(ct.Buffer[i]);
}
string item = keyword.ToString();
if (!keyworkds.Contains(item))
{
keyworkds.Add(item);
}
}
}
return keyworkds;
}
拆分好使用者輸入的詞句後，接下來使用IndexSearcher並使用組合條件進行搜尋：
static void Search(string q)
{
IndexReader reader = DirectoryReader.Open(FSDirectory.Open("Index_Data"));
var searcher = new IndexSearcher(reader);
var keyWordQuery = new BooleanQuery();
foreach (var item in GetKeyWords(q))
{
keyWordQuery.Add(new TermQuery(new Term("title", item)), Occur.SHOULD);
keyWordQuery.Add(new TermQuery(new Term("keyword", item)), Occur.SHOULD);
keyWordQuery.Add(new TermQuery(new Term("description", item)), Occur.SHOULD);
}
var hits = searcher.Search(keyWordQuery, 200).ScoreDocs;
foreach (var hit in hits)
{
var document = searcher.Doc(hit.Doc);
Console.WriteLine("Url:{0}", document.Get("url"));
Console.WriteLine("Title:{0}", document.Get("title"));
Console.WriteLine("Keyword:{0}", document.Get("keyword"));
Console.WriteLine("Description:{0}", document.Get("description"));
}
}
接下來我們來試著搜尋一下：
完整程式碼
這裡只是一個簡單的示例，有關於更多，可以檢視Lucene.Net的官方文件。
using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Cn.Smart;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.Search;
using Lucene.Net.Store;
using Lucene.Net.Util;
using System;
using System.Collections.Generic;
using System.Text;
namespace ConsoleApp
{
class Program
{
static void Main(string[] args)
{
WriteDocument("https://www.zkea.net/index",
"紙殼CMS開源免費視覺化設計內容管理系統",
"紙殼CMS，ZKEACMS，視覺化設計，視覺化CMS",
"紙殼CMS（ZKEACMS）是開源的建站系統，您可以直接使用它來做為您的企業網站，入口網站或者個人網站，部落格");
Search("視覺化CMS");
}
static void WriteDocument(string url, string title, string keywords, string description)
{
using (var writer = GetIndexWriter())
{
writer.DeleteDocuments(new Term("url", url));
Document doc = new Document();
doc.Add(new StringField("url", url, Field.Store.YES));
TextField titleField = new TextField("title", title, Field.Store.YES);
titleField.Boost = 3F;
TextField keywordField = new TextField("keyword", keywords, Field.Store.YES);
keywordField.Boost = 2F;
TextField descriptionField = new TextField("description", description, Field.Store.YES);
descriptionField.Boost = 1F;
doc.Add(titleField);
doc.Add(keywordField);
doc.Add(descriptionField);
writer.AddDocument(doc);
writer.Flush(triggerMerge: true, applyAllDeletes: true);
writer.Commit();
}
}
static IndexWriter GetIndexWriter()
{
var dir = FSDirectory.Open("Index_Data");
Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
var indexConfig = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer);
IndexWriter writer = new IndexWriter(dir, indexConfig);
return writer;
}
static List<string> GetKeyWords(string q)
{
List<string> keyworkds = new List<string>();
Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
using (var ts = analyzer.GetTokenStream(null, q))
{
ts.Reset();
var ct = ts.GetAttribute<Lucene.Net.Analysis.TokenAttributes.ICharTermAttribute>();
while (ts.IncrementToken())
{
StringBuilder keyword = new StringBuilder();
for (int i = 0; i < ct.Length; i++)
{
keyword.Append(ct.Buffer[i]);
}
string item = keyword.ToString();
if (!keyworkds.Contains(item))
{
keyworkds.Add(item);
}
}
}
return keyworkds;
}
static void Search(string q)
{
IndexReader reader = DirectoryReader.Open(FSDirectory.Open("Index_Data"));
var searcher = new IndexSearcher(reader);
var keyWordQuery = new BooleanQuery();
foreach (var item in GetKeyWords(q))
{
keyWordQuery.Add(new TermQuery(new Term("title", item)), Occur.SHOULD);
keyWordQuery.Add(new TermQuery(new Term("keyword", item)), Occur.SHOULD);
keyWordQuery.Add(new TermQuery(new Term("description", item)), Occur.SHOULD);
}
var hits = searcher.Search(keyWordQuery, 200).ScoreDocs;
foreach (var hit in hits)
{
var document = searcher.Doc(hit.Doc);
Console.WriteLine("Url:{0}", document.Get("url"));
Console.WriteLine("Title:{0}", document.Get("title"));
Console.WriteLine("Keyword:{0}", document.Get("keyword"));
Console.WriteLine("Description:{0}", document.Get("description"));
}
}
}
}
原文連結：http://www.zkea.net/codesnippet/detail/lucene-net.