Analyzers

StandardTokenizer

• 将文本分割为 token，空白符和标点被作为分隔符丢弃，但有如下例外

  • 句点后面跟着的不是空白符，会作为 token 的一部分保留，包括互联网域名

  • @ 也视同为标点（也即会作为分隔符被丢弃），所以电子邮件地址不会作为一个 token 保留

• 工厂类

  • solr.StandardTokenizerFactory

• 参数

  • maxTokenLength：如果组成 token 的字符超过这个数字会被忽略，默认=255

• 示例

输入
  "Please, email [e-mail] by 03-09, re: m37-xq."

输出
  "Please", "email", "john.doe", "foo.com", "by", "03", "09", "re", "m37", "xq"

ClassicTokenizer

• 在 solr 3.1 和之前版本，与 StandardTokenizer 一样

• 将文本分割为 token，空白符和标点作为分隔符被丢弃，但有如下例外

  • 句点后面跟着的不是空白符，则会作为 token 的一部分被保留

  • 如果用连字符(-)连接的词中有数字，则连字符不会被当作分隔符；否则连字符或被视同分隔符

  • 识别域名和电子邮件地址，将其作为单个 token 保留

• 工厂类

  • solr.ClassicTokenizerFactory

• 参数

  • maxTokenLength：如果组成 token 的字符超过这个数字会被忽略，默认=255

• 示例

输入
  "Please, email [e-mail] by 03-09, re: m37-xq."

输出
  "Please", "email", "[e-mail]", "by", "03-09", "re", "m37-xq"

KeywordTokenizer

• 将整个文本当作一个 token

• 工厂类

  • solr.KeywordTokenizerFactory

• 示例

输入
  "Please, email [e-mail] by 03-09, re: m37-xq."

输出
  "Please, email [e-mail] by 03-09, re: m37-xq."

LetterTokenizer

• 连续的字符作为 token，非字符全部丢弃

• 工厂类

  • solr.LetterTokenizerFactory

• 示例

输入
  "I can't."

输出
  "I", "can", "t"

LowerCaseTokenizer

• 非字符作为分隔符，大写转换为小写，空白符和非字符全部丢弃

• 工厂类

  • solr.LowerCaseTokenizerFactory

• 示例

输入
  "I just LOVE my iPhone!"

输出
  "i", "just", "love", "my", "iphone"

N-GramTokenizer

• 使用 n-gram 模型来分词

• 工厂类

  • solr.NGramTokenizerFactory

• 参数

  • minGramSize: 步长的最小值，必须大于 0，默认=1

  • maxGramSize: 步长的最大值，必须大于等于 minGramSize，默认=2

• 示例

<analyzer>
    <tokenizer class="solr.NGramTokenizerFactory"/>
</analyzer>

输入
  "hey man"

输出
  "h", "e", "y", " ", "m", "a", "n", "he", "ey", "y ", " m", "ma", "an"

• 示例2

<analyzer>
    <tokenizer class="solr.NGramTokenizerFactory" minGramSize="4" maxGramSize="5"/>
</analyzer>

输入
  "bicycle"

输出
  "bicy", "bicyc", "icyc", "icycl", "cycl", "cycle", "ycle"

EdgeN-GramTokenizer

• 和 n-gram 类似，区别是只能从输入的边缘进行分词，且支持从头和尾进行分词

• 工厂类

  • solr.EdgeNGramTokenizerFactory

• 参数

  • minGramSize: 步长的最小值，必须大于 0，默认=1

  • maxGramSize: 步长的最大值，必须大于等于 minGramSize，默认=1

  • side: 是从头还是从尾开始分词，取值为 [front, back]，默认=front

• 示例

<analyzer>
    <tokenizer class="solr.EdgeNGramTokenizerFactory"/>
</analyzer>

输入
  "babaloo"

输出
  "b"

• 示例2

<analyzer>
    <tokenizer class="solr.EdgeNGramTokenizerFactory" minGramSize="2" maxGramSize="5"/>
</analyzer>

输入
  "babaloo"

输出
  "ba", "bab", "baba", "babal"

• 示例3

<analyzer>
    <tokenizer class="solr.EdgeNGramTokenizerFactory" minGramSize="2" maxGramSize="5"
               side="back"/>
</analyzer>

输入
  "babaloo"

输出
  "oo", "loo", "aloo", "baloo"

ICUTokenizer

• 多语言分词器，需要指定各语言的规则文件

• 工厂类

  • solr.ICUTokenizerFactory

• 参数

  • rulefile: 指定了语言编码及其规则文件，如果有多个语言需要支持，则用逗号分隔。语言编码是 4字符的，根据 ISO 15924 规范

• 示例

<analyzer>
    <tokenizer class="solr.ICUTokenizerFactory"
               rulefiles="Latn:my.Latin.rules.rbbi,Cyrl:my.Cyrillic.rules.rbbi"/>
</analyzer>

PathHierarchyTokenizer

• 目录层级进行分词

• 工厂类

  • solr.PathHierarchyTokenizerFactory

• 参数

  • delimiter: 目录分隔符

  • replace: 在输出的 token 里用这个代替输入文本里的目录分隔符

• 示例

<fieldType name="text_path" class="solr.TextField" positionIncrementGap="100">
    <analyzer>
        <tokenizer class="solr.PathHierarchyTokenizerFactory" delimiter="\" replace="/"/>
    </analyzer>
</fieldType>

输入
  "c:\usr\local\apache"

输出
  "c:", "c:/usr", "c:/usr/local", "c:/usr/local/apache"

RegularExpressionPatternTokenizer

• 用 java 的正则表达式来分词

• 工厂类

  • solr.PatternTokenizerFactory

• 参数

  • pattern: 必须，java 正则表达式

  • group: 指定哪个 group 被抽取为 token，默认=-1

    • group=-1：正则表达式作为分隔符来分词

    • group=0：以匹配的 group(0) 作为 token，全部匹配(？)

    • group>0：以匹配的 group(1)...group(n) 作为 token

• 示例

<analyzer>
    <tokenizer class="solr.PatternTokenizerFactory" pattern="\s*,\s*"/>
</analyzer>

输入
  "fee,fie, foe , fum, foo"

输出
  "fee", "fie", "foe", "fum", "foo"

• 示例2

<analyzer>
    <tokenizer class="solr.PatternTokenizerFactory" pattern="[A-Z][A-Za-z]*" group="0"/>
</analyzer>

输入
  "Hello. My name is Inigo Montoya. You killed my father. Prepare to die."

输出
  "Hello", "My", "Inigo", "Montoya", "You", "Prepare"

• 示例3

<analyzer>
<tokenizer class="solr.PatternTokenizerFactory" 
           pattern="(SKU|Part(\sNumber)?):?\s(\[0-9-\]+)" group="3"/>
</analyzer>

输入
  "SKU: 1234, Part Number 5678, Part: 126-987"

输出
  "1234", "5678", "126-987"

UAX29URLEmailTokenizer

• 将文本分割为 token，空白符和标点作为分隔符被丢弃，但有如下例外

  • 句点后面跟着的不是空白符，则会作为 token 的一部分被保留

  • 如果用连字符(-)连接的词中有数字，则连字符不会被当作分隔符；否则连字符或被视同分隔符

  • 识别下列情况，并作为单个 token 保留

    • 互联网域名

    • 电子邮件地址

    • file://, http(s)://, ftp://

    • IPv4 and IPv6 地址

• 工厂类

  • solr.UAX29URLEmailTokenizerFactory

• 参数

  • maxTokenLength：如果组成 token 的字符超过这个数字会被忽略，默认=255

• 示例

输入
  "Visit http://accarol.com/contact.htm?from=external&a=10 or e-mail [e-mail]"

输出
  "Visit", "http://accarol.com/contact.htm?from=external&a=10", "or", "e", "mail", "[e-mail]"

WhiteSpaceTokenizer

• 用空白符作为分隔符进行分词，标点符号也作为 token 的一部分保留

• 工厂类

  • solr.WhitespaceTokenizerFactory

• 参数

  • rule：如何定义空白符

    • java: 默认，Character.isWhitespace(int)

    • unicode: 使用 Unicode 的空白符属性

• 示例

输入
  "To be, or what?"

输出
  "To", "be,", "or", "what?"