Ai
1 Star 1 Fork 0

kaycn/blevek

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
analyzer.go 762 Bytes
一键复制 编辑 原始数据 按行查看 历史
zhuruiwen@cmcm.com 提交于 2020-03-23 21:40 +08:00 . feat: add jieba tokenizer
package blevejieba
import (
"github.com/blevesearch/bleve/analysis"
"github.com/blevesearch/bleve/analysis/token/lowercase"
"github.com/blevesearch/bleve/registry"
)
func AnalyzerConstructor(config map[string]interface{}, cache *registry.Cache) (*analysis.Analyzer, error) {
tokenizer, err := cache.TokenizerNamed(Name)
if err != nil {
return nil, err
}
toLowerFilter, err := cache.TokenFilterNamed(lowercase.Name)
if err != nil {
return nil, err
}
stopFilter, err := cache.TokenFilterNamed(Name)
if err != nil {
return nil, err
}
return &analysis.Analyzer{
Tokenizer: tokenizer,
TokenFilters: []analysis.TokenFilter{
toLowerFilter,
stopFilter,
},
}, nil
}
func init() {
registry.RegisterAnalyzer(Name, AnalyzerConstructor)
}
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/lkaycn/blevek.git
git@gitee.com:lkaycn/blevek.git
lkaycn
blevek
blevek
v1.0.9

搜索帮助