Source Code for Me (s-c.me)

Copy Source | Copy HTML

1. namespace Lucene.Net.Analysis.Morphology
2. {
3.     using System;
4.     using System.Data;
5.     using System.Configuration;
6.     using System.Collections.Generic;
7.     using System.Web;
8.     using System.Web.Security;
9.     using System.Web.UI;
10.     using System.Web.UI.WebControls;
11.     using System.Web.UI.WebControls.WebParts;
12.     using System.Web.UI.HtmlControls;
13.     using Lucene.Net.Analysis;
14.  
15.     /// <summary>
16.     /// Обход набора слов и вставка морфологических модификаций
17.     /// </summary>
18.     public class MorphFilter : TokenFilter
19.     {
20.         private Queue<Token> morphTokenQueue
21.             = new Queue<Token>();
22.  
23.         private MorphENRU _MorphEngine;
24.         public MorphENRU MorphEngine { get { return _MorphEngine; } private set { _MorphEngine = value; } }
25.  
26.         public MorphFilter(TokenStream input, MorphENRU morphEngine)
27.             : base(input)
28.         {
29.             if (morphEngine == null)
30.                 throw new ArgumentNullException("morphEngine");
31.  
32.             MorphEngine = morphEngine;
33.         }
34.  
35.         public override Token Next()
36.         {
37.             // Если есть слова в очереди, то надо их поместить в поток прежде чем одти дальше
38.             if (morphTokenQueue.Count > 0)
39.             {
40.                 return morphTokenQueue.Dequeue();
41.             }
42.  
43.             //Берем след. слово из текста
44.             Token t = input.Next();
45.  
46.             //если пусто, то конец потока
47.             if (t == null)
48.                 return null;
49.  
50.             //разбор морфологии только для слов длинною более 4х символов
51.             if (t.TermText().Length > 4)
52.             {
53.  
54.                 //получение актуальных морфологий
55.                 IEnumerable<string> mWords = MorphEngine.NormalizeWord(t.TermText());
56.  
57.                 //если нет слов то вернем слово просто
58.                 if (mWords != null)
59.                 {
60.                     //Переберем все морфологические формы которые более употребляемы
61.                     foreach (string word in mWords)
62.                     {
63.                         //убедимся, что не дублируем слово
64.                         if (!t.TermText().Equals(word))
65.                         {
66.                             //делаем морфологический токен
67.                             Token mToken = new Token(word, t.StartOffset(), t.EndOffset(), "<MORPH>");
68.  
69.                             // устанавливаем относительное смещение в 0,
70.                             // это нужно, чтобы отразить то, что добавляемое слово соответствует
71.                             // старому месту в изначальном тексте
72.                             mToken.SetPositionIncrement(0);
73.  
74.                             //помещаем в очередь на помещенее в поток
75.                             morphTokenQueue.Enqueue(mToken);
76.                         }
77.                     }
78.                 }
79.             }
80.             //
81.             return t;
82.         }
83.     }
84.  
85. }