FlymeTV 全局搜索实践

solr 环境搭建

solr 版本选择

截至本文编写，Apache Solr 最新版本已经是 6.1.0，要求 JRE 1.8+，如下图

为此只能使用 Apache Solr 5.0+ 版本，浏览 solr 下载目录，当前最新的 5.0+ 版本为 5.5.2

下载安装

# 下载 solr 5.5.2
wget http://archive.apache.org/dist/lucene/solr/5.5.2/solr-5.5.2.zip

# 解压到 /data 目录
unzip solr-5.5.2.zip -d /data

# 目录名修改为 solr
mv /data/solr-5.5.2 /data/solr

创建 core

solr 的 core，类似 mysql 的数据库，对于 FlymeTV 的全局搜索业务，我们建一个名为 tv 的 core，如下

# 启动 solr
/data/solr/bin/solr start

# 创建 tv core
/data/solr/bin/solr create -c tv
http://localhost:8983/solr/admin/cores?action=CREATE&name=tv&instanceDir=tv

{
  "responseHeader":{
    "status":0,
    "QTime":2693},
  "core":"tv"}

配置

core tv 创建好以后，solr 会自动创建其目录，本文例子该目录位于 /data/solr/server/solr/tv，进入目录后有2个子目录

进入配置目录，看下有哪些文件

# ll
total 148
-rw-r--r--. 1 root root  4041 Jun 21 11:45 currency.xml
-rw-r--r--. 1 root root  1386 Jun 21 11:45 elevate.xml
drwxr-xr-x. 2 root root  4096 Jun 21 11:45 lang
-rw-r--r--. 1 root root 54490 Jun 20 20:52 managed-schema
-rw-r--r--. 1 root root   329 Jun 21 11:45 params.json
-rw-r--r--. 1 root root   894 Jun 21 11:45 protwords.txt
-rw-r--r--. 1 root root 62113 Jun 21 11:45 solrconfig.xml
-rw-r--r--. 1 root root   795 Jun 21 11:45 stopwords.txt
-rw-r--r--. 1 root root  1148 Jun 21 11:45 synonyms.txt

修改 solrconfig.xml

schema.xml 是 solr 的字段定义文件，灰常之重要

默认情况下，solr 管理 schema.xml，不允许手动修改。为了能自定义 schema.xml，需要先对 solrconfig.xml 进行修改：这是通过<schemaFactory/>来指定的，只需要启用ClassicIndexSchemaFactory，并停用ManagedIndexSchemaFactory即可

<schemaFactory class="ClassicIndexSchemaFactory"/>

<!--
<schemaFactory class="ManagedIndexSchemaFactory">
  <bool name="mutable">true</bool>
  <str name="managedSchemaResourceName">managed-schema</str>
</schemaFactory>
-->

找到 solrconfig.xml 中的 AddSchemaFieldsUpdateProcessorFactory元素，将其注释：这样就无需在 schema.xml 里定义 booleans 等字段类型，且可以避免程序抛出 “This IndexSchema is not mutable” 异常

<!--
   <processor class="solr.AddSchemaFieldsUpdateProcessorFactory">
      <str name="defaultFieldType">strings</str>
      <lst name="typeMapping">
        <str name="valueClass">java.lang.Boolean</str>
        <str name="fieldType">booleans</str>
      </lst>
      <lst name="typeMapping">
        <str name="valueClass">java.util.Date</str>
        <str name="fieldType">tdates</str>
      </lst>
      <lst name="typeMapping">
        <str name="valueClass">java.lang.Long</str>
        <str name="valueClass">java.lang.Integer</str>
        <str name="fieldType">tlongs</str>
      </lst>
      <lst name="typeMapping">
        <str name="valueClass">java.lang.Number</str>
        <str name="fieldType">tdoubles</str>
      </lst>
    </processor>
-->

找到 solrconfig.xml 里的 <initParams> 元素，如下，将_text_ 修改为 tvinfo：这里定义的是更新，查询等操作的默认字段，修改为 tvinfo，这个字段将在 schema.xml 里定义。

这个修改不是必须的，如果这里不做修改的话，需要在 schema.xml 里定义 _text_ 字段，否则保存数据到 solr 会出错

<initParams path="/update/**,/query,/select,/tvrh,/elevate,/spell,/browse">
  <lst name="defaults">
    <!--<str name="df">_text_</str>-->
    <str name="df">tvinfo</str>
  </lst>
</initParams>

自定义 schema

<?xml version="1.0" encoding="UTF-8" ?>
<schema name="tv" version="1.6">

    <types>
        <fieldType name="string" class="solr.StrField" multiValued="false" sortMissingLast="true" />
        <fieldType name="int" class="solr.TrieIntField" multiValued="false" precisionStep="0" positionIncrementGap="0" />
        <fieldType name="long" class="solr.TrieLongField" multiValued="false" precisionStep="0" positionIncrementGap="0" />

        <!-- 支持中文分词的字段类型 -->
        <fieldType name="text_ik" class="solr.TextField">
            <analyzer type="index" useSmart="false" class="org.wltea.analyzer.lucene.IKAnalyzer" />
            <analyzer type="query" useSmart="true" class="org.wltea.analyzer.lucene.IKAnalyzer" />
        </fieldType>

        <!-- 用于对汉语拼音进行分词的字段类型：仅索引时分词，查询时不分词 -->
        <fieldType name="text_py" class="solr.TextField">
            <analyzer type="index">
                <tokenizer class="solr.StandardTokenizerFactory"/>
                <filter class="solr.LowerCaseFilterFactory"/>
                <filter class="solr.EdgeNGramFilterFactory" minGramSize="1" maxGramSize="16"/>
            </analyzer>
            <analyzer type="query">
                <tokenizer class="solr.StandardTokenizerFactory"/>
                <filter class="solr.LowerCaseFilterFactory"/>
            </analyzer>
        </fieldType>
    </types>

    <fields>
        <!-- 这个字段是必须的 -->
        <field name="_version_" type="long" indexed="true" stored="true" />

        <!-- id 为每个实体的唯一标识 -->
        <field name="id" type="string" required="true" indexed="true" stored="true" />

        <!-- 类型和子类型 -->
        <field name="type" type="int" required="true" indexed="false" docValues="true" stored="true" />
        <field name="subtype" type="int" required="true" indexed="false" docValues="true" stored="true" />

        <!-- 热度 -->
        <field name="heat" type="int" required="true" indexed="false" docValues="true" stored="true" />

        <!-- 实体在魅族的id -->
        <field name="mzEntityId" type="string" required="true" indexed="false" stored="true" />
        <!-- 实体在cp的id -->
        <field name="cpEntityId" type="string" required="true" indexed="false" stored="true" />
        <!-- cp -->
        <field name="cp" type="string" required="true" indexed="false" stored="true" />

        <!-- 全拼 -->
        <field name="nameQuanpin" type="string" indexed="false" stored="false" />
        <!-- 简拼 -->
        <field name="nameJianpin" type="string" indexed="false" stored="false" />

        <!-- 名称：分词和索引，查询时可增加该字段权重提高匹配度 -->
        <field name="name" type="text_ik" indexed="true" stored="true" />

        <!-- 详情/描述 -->
        <field name="desc" type="string" indexed="false" stored="true" />
        <!-- 演员 -->
        <field name="actor" type="string" indexed="false" stored="true" />
        <!-- 导演 -->
        <field name="director" type="string" indexed="false" stored="true" />
        <!-- 地区 -->
        <field name="area" type="string" indexed="false" stored="true" />
        <!-- 包名 -->
        <field name="packageName" type="string" indexed="false" stored="true" />

        <!-- 中文全局搜索实际上是搜索这个字段 -->
        <field name="tvinfo" type="text_ik" indexed="true" multiValued="true" stored="false" />

        <!-- 拼音全局搜索实际上是搜索这个字段 -->
        <field name="pinyin" type="text_py" indexed="true" multiValued="true" stored="false" />

    </fields>

    <copyField source="name" dest="tvinfo" />
    <copyField source="desc" dest="tvinfo" />
    <copyField source="actor" dest="tvinfo" />
    <copyField source="area" dest="tvinfo" />
    <copyField source="director" dest="tvinfo" />
    <copyField source="packageName" dest="tvinfo" />

    <copyField source="nameQuanpin" dest="pinyin" />
    <copyField source="nameJianpin" dest="pinyin" />

    <!-- uniqueKey 字段，必须建索引，即 indexed=true -->
    <uniqueKey>id</uniqueKey>

</schema>

启用中文分词

中文分词采用 IK Analyzer，不过这个版本的 ik analyzer 只能用于 solr 4.x，如果要在 solr 5.x 使用，需要使用 ik analyzer solr5，我们需要把源码 clone 到本地编译打包，生成 Ik-analyzer-solr5-5.x.zip

下载该文件到 solr 的dist目录下，解压缩后得到 ik-analyzer-solr5-5.x.jar，然后修改 solrconfig.xml 文件来引入该分词库

......

<lib dir="${solr.install.dir:../../../..}/contrib/velocity/lib" regex=".*\.jar" />
<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-velocity-\d.*\.jar" />
<lib dir="${solr.install.dir:../../../..}/dist/" regex="ik-analyzer-.*\.jar" />

......

验证安装

core

通过浏览器打开 solr 后台页面来验证，访问地址为 http://ip:8983/solr

能选择 tv 这个 core，表明配置正常，core 成功被实例化

中文分词

选择 Analysis 页面，Field Value (Index) 输入 “刘德华周星驰吴彦祖”，Analyse Fieldname / FieldType 选择 tvinfo，点击 Analyse Values

分词结果正常，再试一下“中国香港台湾”

应该说这个分词质量还是挺不错的

拼音分词

为了加速拼音查询，使用 Edge N-Gram 过滤器对拼音进行了分词，看下效果，我们输入fczlm(复仇者联盟)

可见，分词很成功

DIH 导入数据

Data Import Handler 是 solr 提供的一个数据导入工具，可以通过简单配置来实现从关系型数据库向 solr 同步数据。这里就尝试一下用 DIH 来把 MEIZU_TVVIDEO 数据库的 T_SH_ALBUM(搜狐视频信息)导入 solr 的 core tv

加载 mysql 驱动

要从 mysql 导数据，solr 需要 mysql 的驱动，先将驱动下载到 /data/solr/dist 目录 :注意：使用5.x 的驱动，6.x 的驱动貌似不能正常加载

cd /data/solr/dist
wget http://maven.meizu.com:8081/artifactory/repo1-cache/mysql/mysql-connector-java/5.1.39/mysql-connector-java-5.1.39.jar

然后修改solrconfig.xml，添加如下的配置

<lib dir="${solr.install.dir:../../../..}/dist/" regex="mysql-connector-java-\d.*\.jar" />

DIH 配置

DIH 需要配置文件来指定从何处、如何导入数据，在 conf 目录下创建一个 dih-config.xml 的文件，内容如下

<dataConfig>
    <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver"
                url="jdbc:mysql://172.17.21.26:3306/MEIZU_TVVIDEO"
                user="root" password="root" />

    <document>
        <entity name="TvEntity" pk="fid"
                query="SELECT CONCAT('v-sh-',CAST(FALBUMID AS CHAR(20))) AS fid, FALBUM_NAME, 1 AS `type`, 'sohu' AS cp, 0 AS mzEntityId, FALBUMID, 0 heat, CASE FCATE_CODE WHEN 100 THEN 1 WHEN 101 THEN 2 WHEN 106 THEN 3 WHEN 107 THEN 6 WHEN 115 THEN 4 ELSE 0 END AS subtype, FALBUM_DESC, FAREA, FACTOR, FDIRECTOR, FPINYIN, FJIANPIN FROM T_SH_ALBUM WHERE FVIDEOID&lt;&gt;0 AND FIS_SHOW=1 AND FIS_CLIP=0 AND FFEE=0">
            <field column="fid" name="id" />
            <field column="type" name="type" />
            <field column="subtype" name="subtype" />
            <field column="cp" name="cp" />
            <field column="mzEntityId" name="mzEntityId" />
            <field column="heat" name="heat" />
            <field column="FALBUMID" name="cpEntityId" />
            <field column="FALBUM_NAME" name="name" />
            <field column="FALBUM_DESC" name="desc" />
            <field column="FACTOR" name="actor" />
            <field column="FDIRECTOR" name="director" />
            <field column="FAREA" name="area" />
            <field column="FPINYIN" name="nameQuanpin" />
            <field column="FJIANPIN" name="nameJianpin" />
        </entity>
    </document>
</dataConfig>

注意

DIH 支持全量导入和增量导入，这里仅使用了全量导入
sql 字段和 solr 字段必须声明映射关系，即使字段名一样
<，> 需要转义

多数据源 DIH

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
    <!-- 视频 -->
    <dataSource name="ds-video" convertType="true" type="JdbcDataSource"
        driver="com.mysql.jdbc.Driver" url="jdbc:mysql://172.17.21.26:3306/MEIZU_TVVIDEO"
        user="root" password="root" />

    <!-- 应用 & 游戏 -->
    <dataSource name="ds-app" convertType="true" type="JdbcDataSource"
        driver="com.mysql.jdbc.Driver" url="jdbc:mysql://172.17.21.26:3306/MEIZU_TV_STORE"
        user="root" password="root" />

    <document>
        <entity name="sohu-album" dataSource="ds-video" pk="DOCID" transformer="TemplateTransformer"
            query="SELECT CONCAT('v-sh-', FALBUMID) DOCID, FALBUM_NAME, FALBUMID, 
                CASE FCATE_CODE WHEN 100 THEN 1 WHEN 101 THEN 2 WHEN 106 THEN 3 WHEN 107 THEN 6 WHEN 115 THEN 4 ELSE 0 END AS FSUBTYPE, 
                FALBUM_DESC, FAREA, FACTOR, FDIRECTOR, FPINYIN, FJIANPIN FROM T_SH_ALBUM 
                WHERE FVIDEOID!=0 AND FIS_SHOW=1 AND FIS_CLIP=0 AND FFEE=0">

            <!-- 常数值，需要 TemplateTransformer -->
            <field column="type" template="1" />
            <field column="cp" template="sohu" />
            <field column="mzEntityId" template="0" />
            <field column="heat" template="0" />

            <field column="DOCID" name="id" />
            <field column="FSUBTYPE" name="subtype" />
            <field column="FALBUMID" name="cpEntityId" />
            <field column="FALBUM_NAME" name="name" />
            <field column="FALBUM_DESC" name="desc" />
            <field column="FACTOR" name="actor" />
            <field column="FDIRECTOR" name="director" />
            <field column="FAREA" name="area" />
            <field column="FPINYIN" name="nameQuanpin" />
            <field column="FJIANPIN" name="nameJianpin" />
        </entity>

        <entity name="app" dataSource="ds-app" pk="DOCID"
            query="SELECT CONCAT('A-', A.FID) DOCID, A.FID, A.FIDENTIFIER, A.FHOT_SCORE, A.FNAME, A.FPROGRAMID, A.FDESCRIPTION, A.FPINYIN, A.FJIANPIN, 
            CASE V.FSOURCE WHEN 1 THEN 'shafa' ELSE 'putao' END FCP, CASE A.FCATEGORYID WHEN 2 THEN 3 ELSE 2 END FTYPE, 
            A.FCATEGORY2ID FSUBTYPE, V.FVERSION_NAME FVER 
            FROM T_TV_APP_APPLICATION A, T_TV_APP_VERSION V WHERE A.FID=V.FAPPID AND V.FSTATUS=50">
            <field column="DOCID" name="id" />
            <field column="FTYPE" name="type" />
            <field column="FSUBTYPE" name="subtype" />
            <field column="FCP" name="cp" />
            <field column="FID" name="mzEntityId" />
            <field column="FHOT_SCORE" name="heat" />
            <field column="FIDENTIFIER" name="cpEntityId" />
            <field column="FNAME" name="name" />
            <field column="FDESCRIPTION" name="desc" />
            <field column="FPINYIN" name="nameQuanpin" />
            <field column="FJIANPIN" name="nameJianpin" />
        </entity>
    </document>
</dataConfig>

说明

可以定义多个数据源，每个数据源有一个唯一的名称，在 entity 的属性里指定数据源
22，23 行表示该字段值为一个常数，需要 TemplateTransformer

注册 DIH

配置好 DIH 以后，修改 solrconfig.xml 以注册，只需添加如下的配置即可

<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-\d.*\.jar" />

<requestHandler name="/dataimport" 
                class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
        <str name="config">dih-config.xml</str>
    </lst>
</requestHandler>

验证

全部配置好以后，重启 solr，然后进入 admin 界面验证 DIH，如下图

在 core tv 下，选择 Dataimport，点击【execute】即可导入数据

注意：勾选 Clean 会将已存在的文档删除

Srping Data Solr

使用 spring data solr，在 java 程序里操作 solr，git 仓库地址 /meizu/server/tv-commons

maven

<dependency>
    <groupId>org.springframework.data</groupId>
    <artifactId>spring-data-solr</artifactId>
    <version>2.0.2.RELEASE</version>
</dependency>

<dependency>
    <groupId>org.apache.solr</groupId>
    <artifactId>solr-core</artifactId>
    <version>5.5.1</version>
</dependency>

spring 配置

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
    xmlns:solr="http://www.springframework.org/schema/data/solr"
    xsi:schemaLocation="http://www.springframework.org/schema/beans 
                        http://www.springframework.org/schema/beans/spring-beans.xsd 
                        http://www.springframework.org/schema/context 
                        http://www.springframework.org/schema/context/spring-context.xsd 
                        http://www.springframework.org/schema/data/solr
                        http://www.springframework.org/schema/data/solr/spring-solr.xsd">
    <bean id="propertyConfigurer" class="com.meizu.yard.spring.YardPropertiesHolder">
        <property name="locations">
            <list>
                <value>http://yard.meizu.com/conf/tv-commons/global/V1.0</value>
                <value>http://yard.meizu.com/conf/tv-commons/solr/V1.0</value>
            </list>
        </property>
        <property name="order" value="1" />
        <property name="fileEncoding" value="UTF-8" />
        <property name="ignoreUnresolvablePlaceholders" value="true" />
    </bean>

    <context:component-scan base-package="com.meizu.flymetv.commons.solr.service" />

    <solr:repositories base-package="com.meizu.flymetv.commons.solr.repos" />
    <solr:solr-client id="solrClient" url="${solr.server.url}" />

    <bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
        <constructor-arg ref="solrClient" />
    </bean>

</beans>

代码

只需要继承 SolrCrudRepository 这个接口，spring data solr 将会自动实现对 solr 进行 CRUD 的操作

分组查询

全局搜索需要实现分组查询，即视频，应用，游戏分 3 组，一个查询语句返回 3 组匹配搜索条件的查询。这种需求关系型数据库很难实现，但对于 solr 来说就是小菜一碟了，因为 solr 有强大的 group

group 参数

group 的参数很多，这里只介绍重要的几个

参数

类型

说明

group

boolean

是否开启 group 查询

group.field

string

分组字段

group.query

query

该查询返回一组匹配的文档

group.limit

int

每组返回多少结果，默认=1

group.offset

int

针对每组里的文档集合，指定一个初始的偏移量

group.filed

group.field 必须满足如下条件

单值(single-valued)
索引(indexed)或 docValues=true
string 类型，如 StrField 或 TextField(貌似 int 也可以)

group.query

不指定分组字段，而是指定分组条件，例如将查询结果按价格区间分组

price<100
price<=500 and price>=100
price>500

那么查询可以这么写

group=true&
group.query=price:[0 TO 99.99]&
group.query=price:[100 TO 500]&
group.query=price:[500.01 TO *]

TODO LIST

solr 高可用
- cloud 模式
- 主从复制
查询结果排序
- 匹配度
- 热度，热度由业务决定
搜索建议

Previous简单聊聊线程安全 Next自定义注解参数学习

Last updated 7 years ago

hashtagsolr 环境搭建

hashtagsolr 版本选择

hashtag下载安装

hashtag创建 core

hashtag配置

hashtag修改 solrconfig.xml

hashtag自定义 schema

hashtag启用中文分词

hashtag验证安装

hashtagcore

hashtag中文分词

hashtag拼音分词

hashtagDIH 导入数据

hashtag加载 mysql 驱动

hashtagDIH 配置

hashtag多数据源 DIH

hashtag注册 DIH

hashtag验证

hashtagSrping Data Solr

hashtagmaven

hashtagspring 配置

hashtag代码

hashtag分组查询

hashtaggroup 参数

hashtaggroup.filed

hashtaggroup.query

hashtagTODO LIST

solr 环境搭建

solr 版本选择

下载安装

创建 core

配置

修改 solrconfig.xml

自定义 schema

启用中文分词

验证安装

core

中文分词

拼音分词

DIH 导入数据

加载 mysql 驱动

DIH 配置

多数据源 DIH

注册 DIH

验证

Srping Data Solr

maven

spring 配置

代码

分组查询

group 参数

group.filed

group.query

TODO LIST