Elasticsearch之倒排索引及索引操作

2024-09-30 00:55:57

倒排索引

一倒排索引是什么

倒排索引源于实际应用中需要根据属性的值来查找记录，这种索引表中的每一个项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而成为倒排索引。带有倒排索引的文件我们称之为倒排索引文件，简称倒排文件

二举例

例如有如下三个文件：

文件A：通过Python django搭建网站

文件B：通过Python scrapy爬取网站数据

文件C：scrapy-redis分布式爬虫

现在我们要查询，带有Python的文件，正常是对每个文件进行遍历，每个文件遍历一次，如果文件特别大，每个文件有一亿个字符，总共有一亿各文件，每个我们都要遍历，非常消耗资源

在存储文件之前，先对文件进行分析，将文件分词，对分词建立索引，例如下面一句话

1 今天是星期天我们出去玩

2 明天是星期天，放假

3 今天天气很晴朗

4 xxx

5 他们出去玩了

关键词	文章
今天	文章1，文章3
星期天	文章2
出去玩	文章5，文章1

实际上es在做存储的时候，更详细，如下表

关键词	文章
今天	(文章1,<2，10>,2) (文章3,<8>,1)
星期天	(文章2,<12,25,100>,3)
出去玩	(文章5,<11,24,89>,3)(文章1,<8，19>,2)

今天出现在哪个文章，出现的位置和出现的次数

三倒排索引待解决的问题

1 大小写转换问题，如python和Python应该为同一个词

2 词干抽取，looking和look应该处理为同一个词

3 分词，如屏蔽系统是屏蔽和系统两个词还是为屏蔽系统一个词

4 倒排索引文件过大，需要压缩编码

索引操作

具体操作可以查看官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/7.5/indices.html>

官方2版本的中文文档

https://www.elastic.co/guide/cn/elasticsearch/guide/current/index-settings.html

一索引初始化

#新建一个lqz2的索引，索引分片数量为5，索引副本数量为1
PUT lqz2
{
  "settings": {
    "index":{
      "number_of_shards":5,
      "number_of_replicas":1
    }
  }
}
'''
number_of_shards
每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。
number_of_replicas
每个主分片的副本数，默认值是 1 。对于活动的索引库，这个配置可以随时修改。
'''

二查询索引配置

#获取lqz2索引的配置信息
GET lqz2/_settings
#获取所有索引的配置信息
GET _all/_settings
#同上
GET _settings
#获取lqz和lqz2索引的配置信息
GET lqz,lqz2/_settings

三更新索引

#修改索引副本数量为2
PUT lqz/_settings
{
  "number_of_replicas": 2
}
#如遇到报错：cluster_block_exception，因为
#这是由于ES新节点的数据目录data存储空间不足，导致从master主节点接收同步数据的时候失败，此时ES集群为了保护数据，会自动把索引分片index置为只读read-only
PUT  _all/_settings
{
"index": {
  "blocks": {
    "read_only_allow_delete": false
    }
  }
}

四删除索引

#删除lqz索引
DELETE lqz

以上就是Elasticsearch之倒排索引及索引操作的详细内容，更多关于Elasticsearch倒排索引索引操作的资料请关注我们其它相关文章！

elasticsearch源码分析index action实现方式

目录 action的作用 TransportAction的类图 OperationTransportHandler的代码 primary操作的方法总结 action的作用上一篇从结构上分析了action的,本篇将以index action为例仔分析一下action的实现方式. 再概括一下action的作用:对于每种功能(如index)action都会包括两个基本的类*action(IndexAction)和Transport*action(TransportIndexAction),前者类中
Elasticsearch索引的分片分配Recovery使用讲解

目录什么是recovery? 减少集群full restart造成的数据来回拷贝减少主副本之间的数据复制特大热索引为何恢复慢什么是recovery? 在elasticsearch中,recovery指的是一个索引的分片分配到另外一个节点的过程,一般在快照恢复.索引复制分片的变更.节点故障或重启时发生,由于master节点保存整个集群相关的状态信息,因此可以判断哪些分片需要再分配及分配到哪个节点,例如: 如果某个主分片在,而复制分片所在的节点挂掉了,那么master需要另行选择一个可用节点
elasticsearch索引index之Translog数据功能分析

目录跟大多数分布式系统一样,es也通过临时写入写操作来保证数据安全.因为lucene索引过程中,数据会首先据缓存在内存中直到达到一个量(文档数或是占用空间大小)才会写入到磁盘.这就会带来一个风险,如果在写入磁盘前系统崩溃,那么这些缓存数据就会丢失.es通过translog解决了这个问题,每次写操作都会写入一个临时文件translog中,这样如果系统需要恢复数据可以从translog中读取.本篇就主要分析translog的结构及写入方式. 这一部分主要包括两部分translog和tanslogF
Elasticsearch Recovery索引分片分配详解

目录基础知识点减少集群Full Restart造成的数据来回拷贝减少主副本之间的数据复制特大热索引为何恢复慢其他Recovery相关的专家级设置基础知识点在Eleasticsearch中recovery指的就是一个索引的分片分配到另外一个节点的过程:一般在快照恢复.索引副本数变更.节点故障.节点重启时发生.由于master保存整个集群的状态信息,因此可以判断出哪些shard需要做再分配,以及分配到哪个结点,例如: 如果某个shard主分片在,副分片所在结点挂了,那么选择另外一个可用
elasticsearch索引index数据功能源码示例

从本篇开始,对elasticsearch的介绍将进入数据功能部分(index),这一部分包括索引的创建,管理,数据索引及搜索等相关功能.对于这一部分的介绍,首先对各个功能模块的分析,然后详细分析数据索引和搜索的整个流程. 这一部分从代码包结构上可以分为:index, indices及lucene(common)几个部分.index包中的代码主要是各个功能对应于lucene的底层操作,它们的操作对象是index的shard,是elasticsearch对lucene各个功能的扩展和封装.indic
elasticsearch数据信息索引操作action support示例分析

目录抽象类分析 doExecute方法 performOperation代码 master的相关操作总结抽象类分析 Action这一部分主要是数据(索引)的操作和部分集群信息操作. 所有的请求通过client转发到对应的action上然后再由对应的TransportAction来执行相关请求.如果请求能在本机上执行则在本机上执行,否则使用Transport进行转发到对应的节点.action support部分是对action的抽象,所有的具体action都继承了support action
Elasticsearch文档索引基本操作增删改查示例

接口幂等性接口幂等性:数学概念,多次请求,相当于一次请求 get,put,delete都是幂等性的接口 post 存在幂等性的问题前端速度很快,点了两次,会生成两个订单用户在访问新增页面时(提交订单)--->接口返回一个唯一id,提交订单,携带唯一id过来,后端判断这个唯一id是否被用过--->没用过,创建订单你在项目中碰到的问题和如何解决(项目收获)下订单,经常重复订单,点得快,幂等性问题,如何解决的倒排索引 1.es介绍10个点 2.安装 -jdk :java开发环境官网下载e
Elasticsearch之倒排索引及索引操作

目录倒排索引一倒排索引是什么二举例三倒排索引待解决的问题索引操作一索引初始化二查询索引配置三更新索引四删除索引倒排索引一倒排索引是什么倒排索引源于实际应用中需要根据属性的值来查找记录,这种索引表中的每一个项都包括一个属性值和具有该属性值的各记录的地址.由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而成为倒排索引.带有倒排索引的文件我们称之为倒排索引文件,简称倒排文件二举例例如有如下三个文件: 文件A:通过Python django搭建网
Elasticsearch的删除映射类型操作示例

目录一前言二什么是映射类型? 三为什么要删除映射类型? 四映射类型的替代方法 4.1 将映射类型分开存储在索引中 4.2 自定义类型字段回到顶部五没有映射类型的父/子六删除映射类型的计划七将多类型索引迁移到单一类型 7.1 每种文档类型的索引 7.2 自定义类型字段八总结一前言官方解释:https://www.elastic.co/guide/en/elasticsearch/reference/6.0/removal-of-types.html 在elastic
Elasticsearch聚合查询及排序操作示例

目录 1 es排序 2 match和match的区别 3 分页查询 4 es 组合查询 5 结果过滤展示字端 6 结果高亮展示 7 聚合查询avg.max.min.sum.分组 8 mapping和_template模版 9 ik分词 10 term和match的区别 1 es排序 # 1 排序 GET jeff/doc/_search { "query": { "match": { "from": "gu" } }, &qu
ElasticSearch学习之Es索引Api操作

目录 Es索引Api操作创建索引索引别名添加索引别名查询索引别名删除索引别名 mapping settings 查询索引查询当前集群全部索引查询单个索引修改索引删除索引结束语 Es索引Api操作在操作之前,先给大家简单的说下索引,在es中,默认所有数据都会建立索引,我们可以类比它是数据库中的库,这里需要提示的是所有的索引index都必须要小写. 创建索引语法: PUT /${idnexName} 运行: PUT /test 输出: { "acknowledged"
Elasticsearch 基础介绍及索引原理分析

前言最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助. 同时也希望有发现内容不正确或者有疑问的地方,望指明,一起探讨,学习,进步. 介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elastics
MongoDB入门教程之索引操作浅析

这些天项目改版,时间比较紧,博客也就没跟得上,还望大家见谅. 好,今天分享下mongodb中关于索引的基本操作,我们日常做开发都避免不了要对程序进行性能优化,而程序的操作无非就是CURD,通常我们又会花费50%的时间在R上面,因为Read操作对用户来说是非常敏感的,处理不好就会被人唾弃,呵呵. 从算法上来说有5种经典的查找,具体的可以参见我的算法速成系列,这其中就包括我们今天所说的"索引查找",如果大家对sqlserver比较了解的话,相信索引查找能给我们带来什么样的性能提升吧.
MySQL查询冗余索引和未使用过的索引操作

MySQL5.7及以上版本提供直接查询冗余索引.重复索引和未使用过索引的视图,直接查询即可. 查询冗余索引.重复索引 select * sys.from schema_redundant_indexes; 查询未使用过的索引 select * from sys.schema_unused_indexes; 如果想在5.6和5.5版本使用,将视图转换成SQL语句查询即可查询冗余索引.重复索引 select a.`table_schema`,a.`table_name`,a.`index_name
使用Python操作Elasticsearch数据索引的教程

Elasticsearch是一个分布式.Restful的搜索及分析服务器,Apache Solr一样,它也是基于Lucence的索引服务器,但我认为Elasticsearch对比Solr的优点在于: 轻量级:安装启动方便,下载文件之后一条命令就可以启动: Schema free:可以向服务器提交任意结构的JSON对象,Solr中使用schema.xml指定了索引结构: 多索引文件支持:使用不同的index参数就能创建另一个索引文件,Solr中需要另行配置: 分布式:Solr Cloud的配置比较