Fetch the repository succeeded.
感谢您对开源事业的支持！
All the money you donated will be paid to the project author.
Spring boot整合elastic search 6.8.1实现全文检索。主要包含以下特性：
全文检索的实现主要包括构建索引、高级搜索、文本分词三个模块；
索引的构建有增量更新和全量更新，一般第一次全量更新，以后增量更新；
使用 spring-boot-starter-data-elasticsearch 来操作elasticsearch，构建索引时，根据实际情况考虑哪些字段需要分词，哪些不需要分词，这会影响搜索结果。当构建索引和搜索时，都需要经过“分析”，而分词是分析的一个环节。
高级搜索实现了以下几种：
文本分词使用了IK分词器：https://github.com/medcl/elasticsearch-analysis-ik
原始数据提交到倒排索引中以前，es可以对原始数据进行一系列的转换操作，这个过程叫做分析。一个完整的分析过程，要经过大于等于0个字符过滤器，一个分词器，大于等于0个分词过滤器组成。在搜索的时候，根据搜索方法的不同也可以选择是否进行经过分析过程。通常match搜索要经过分析，term搜索则不用。
swagger入口：http://localhost:8080/swagger-ui.html
我们在centos7搭建一个三台机器的elastic search集群，ip分别为172.16.3.151，172.16.3.152，172.16.3.153.
cluster.name: wsz
# 节点名，根据节点的不同给与不同名字
node.name: hadoop1
# 根据节点的实际ip填写
network.host: 172.16.3.151
# 节点的ip列表
discovery.zen.ping.unicast.hosts: ["172.16.3.151", "172.16.3.152", "172.16.3.153"]
# 控制集群在达到多少个节点之后才会开始复制分片，一般为集群节点数目
gateway.recover_after_nodes: 3
更新索引数据可以通过调用es提供的API往里面灌数据，但是这样不够快。这里使用logstash向es的索引批量更新数据。
input {
jdbc {
jdbc_driver_library => "D:\\m2\\org\\postgresql\\postgresql\\9.4.1212\\postgresql-9.4.1212.jar"
jdbc_driver_class => "org.postgresql.Driver"
jdbc_connection_string => "jdbc:postgresql://192.168.52.229:8110/dsdb"
jdbc_user => "xxxx"
jdbc_password => "xxxx"
jdbc_default_timezone => "Asia/Shanghai"
statement => "SELECT sjdbh,ay,jjdwbh,scbjsj from t_sjd "
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
record_last_run => true
use_column_value => false
tracking_column_type => "timestamp"
tracking_column => "sjc"
last_run_metadata_path => "./sjd"
}
}
filter {
ruby {
code => "event.set('scbjsj', event.get('scbjsj').time.localtime + 8*60*60)"
}
ruby {
code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
}
ruby {
code => "event.set('@timestamp',event.get('timestamp'))"
}
mutate {
remove_field => ["timestamp"]
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
hosts => "http://172.16.3.151:9200"
# index名
index => "sjd"
document_type=>"_doc"
document_id => "%{sjdbh}"
action => "index"
}
}在以上配置中，记得用document_id指定索引的自定义主键，这样可以避免抽取重复数据到es，相同主键可以覆盖。
注意：由于logstash默认采用UTC时间，导致导入的时间数据比我们晚八个小时，所以我们要在filter部分给时间字段加上八个小时，索引的数据才是正确的。 如果想增量导入，我们根据表中的时间戳字段配合调度器实现，导入结束的时间戳会被写入文件，每次调度，会读取上次的最后的时间戳以后的新数据导入，sjc字段是数据的时间戳，每次查询大于时间戳的数据进行增量更新。schedule配置更新频率。配置文件如下：
input {
jdbc {
jdbc_driver_library => "D:\\m2\\org\\postgresql\\postgresql\\9.4.1212\\postgresql-9.4.1212.jar"
jdbc_driver_class => "org.postgresql.Driver"
jdbc_connection_string => "jdbc:postgresql://192.168.52.229:8110/dsdb"
jdbc_user => "xxxx"
jdbc_password => "xxxx"
jdbc_default_timezone => "Asia/Shanghai"
statement => "SELECT sjdbh,ay,jjdwbh,scbjsj,sjc from t_sjd where sjc > :sql_last_value"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
record_last_run => true
use_column_value => true
tracking_column_type => "timestamp"
tracking_column => "sjc"
last_run_metadata_path => "./sjd"
schedule => "* * * * *"
}
}
filter {
ruby {
code => "event.set('scbjsj', event.get('scbjsj').time.localtime + 8*60*60)"
}
ruby {
code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
}
ruby {
code => "event.set('@timestamp',event.get('timestamp'))"
}
mutate {
remove_field => ["timestamp"]
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
hosts => "http://172.16.3.151:9200"
# index名
index => "sjd"
document_type=>"_doc"
document_id => "%{sjdbh}"
action => "index"
}
}
购买
购买
购买
购买
购买
You need to Sign in for post a comment
Comments ( 0 )