ElasticSearch突然采集不到日志问题解决分析

目录
  • 0-前言
  • 1-解决
  • 2-延展

0-前言

组内同学反馈，kibana上最新的k8s日志看不到了。由于我们是采用elk（elastic search+logstash+kibana）的方式下部署日志采集系统，其中logstash以Deamonset方式部署到k8s的每一个node节点上，先去查看logstash的pod日志，发现：

"reason": "Validation Failed: 1: this action would add [2] shards, but this cluster currently has [999]/[1000] maximum normal shards open;"

可以看到，出错关键词是：maximum normal shards open.

1-解决

查阅资料发现，ES7版本以上，默认的最大分片数是1000, 所以最直接的解决方案就是增大ES的maximum shards：

PUT /_cluster/settings
{
  "transient": {
    "cluster": {
      "max_shards_per_node":10000 # 这里可以修改
    }
  }
}

经过测试，kibana上可以重新展示最新的log信息。

2-延展

虽然现象问题解决了，但是本质问题依旧存在。

思考几个问题：

  • shard能达到1000，那未来是不是会到达10000，导致出现同样的问题？
  • 为了避免这样的问题再次出现，那就要控制shard的数量，那么shard的数量和什么有关系？
  • 如何控制shard的数量？

首先，回答第一个问题，先要搞清楚，什么是shard?

  • 分片是 Elasticsearch 在集群中分发数据的关键。
  • 把分片想象成数据的容器。文档存储在分片中，然后分片分配到集群中的节点上。当集群扩容或缩小，Elasticsearch 将会自动在节点间迁移分片，以使集群保持平衡。
  • 一个分片(shard)是一个最小级别“工作单元(worker unit)”，它只是保存了索引中所有数据的一部分。
  • 这类似于 MySql 的分库分表，只不过 Mysql 分库分表需要借助第三方组件而 ES 内部自身实现了此功能。
  • 默认情况下，一个索引被分配 5 个主分片

可以看到，分片的数量和索引的数量是成正比的，也就是说索引越多，分片越多；再结合我们ES的实际配置，索引命名方式：环境+日期，环境是固定的，但是日期是每天增加的，那么索引每天都会增加，也就是说分片的数量也会随着时间推移，逐日增加，直到达到最大索引。

所以，针对第一个问题，即使最大分片数是10000，也会出现同样的问题。

那么如何控制shard数量呢？

其实控制shard数量，就是控制索引的数量，控制索引的数量，就是控制保存的log的数量，而log的数量可以通过控制保存的日志有效期天数来决定。

那么，问题转换为：ES如何只保存固定时间段内的日志数据？

两个方案：

  • 通过API接口调用
curl -H "Content-Type: application/json" -X POST -d '{"query":{"range":{"@timestamp":{"lt":"now-7d","format":"epoch_millis"}}}}'  http://localhost:9200/*/_delete_by_query?conflicts=proceed
 # 这里根据默认的时间来作为查询的时    间字段，也可以是自定义的, now-7d保留7天的数据
  • 通过ES官网工具curator

编写action.yml

actions:
  1:
    action: delete_indices
    description: "delete index expire date"
    options:
      ignore_empty_list: True
      timeout_override:
      disable_action: False
    filters:
    - filtertype: age
      source: name
      direction: older
      unit: days # 可选days,weeks,months
      unit_count: 60 #保留最近60天
      timestring: '%Y.%m.%d' #这里是跟在索引logstash-后面的时间的格式

加入到crontab定时器即可。

以上就是ElasticSearch突然采集不到日志问题解决分析的详细内容，更多关于ElasticSearch采集不到日志的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • ElasticSearch之索引模板滚动索引实现详解

    目录 一. 前言 二. 索引 三. 索引模板 3.1 索引模板的创建 3.2 索引模板 Setting 3.3 索引映射 :mapping 四. 业务功能 4.1 创建滚动索引 4.2 创建和绑定策略 总结 一. 前言 文章合集 : https://zhannei.baidu.com/cse/site?q=ElasticSearch&click=1&cc=jb51.net&s=&nsid= Github : github.com/black-ant CASE 备份 : gi

  • Elasticsearch查询之Term Query示例解析

    目录 Term Query 基本语法 Java代码写法 Terms-匹配多个值 基本语法 Java写法 Term查询可配置的其他参数 总结 Term Query Term Query是一种最基本的查询方式,它用于在Elasticsearch中查询一个字段中包含指定关键词的文档,与MySQL中的等值查询类似.使用Term Query时,可以对字段进行完全匹配,且区分大小写. 基本语法 GET /{index}/_search { "query": { "term":

  • Elasticsearch查询Range Query语法示例

    目录 Range Query 查询语法示例 查询数字范围 查询日期范围 查询字符串范围 注意 JavaAPI查询示例 总结 Range Query Range查询可以查询一个范围内的文档.它可以用来查询数值型字段.日期型字段.字符串型字段等等. 我们可以使用range查询来查询符合一定范围内的数据,如查询某个价格区间.某个时间段内的数据等等. 查询语法示例 GET /{index}/_search { "query": { "range": { "{fie

  • Elasticsearch查询 - Match 查询

    目录 Match Query match查询示例 JavaAPI查询示例 match_phrase查询示例 match查询的常用参数 Match查询与Term查询的区别 总结 Match Query Match查询是一种基于全文本的查询方法,可以在一个或多个字段中搜索包含指定文本的文档.它会将查询字符串进行分词处理,然后对每个词进行匹配,从而找到所有匹配的文档. Match查询有两种类型:match_phrase和match.match_phrase用于匹配完整的短语,而match只需匹配单个词

  • Android audio音频流数据异常问题解决分析

    Android audio音频流数据异常问题解决分析

    目录 一.背景 二.Android Audio 音频系统 1. 音频链路 2. 音频链路关键节点: 3. 音频库的选择 三.案例分析 1. 声音忽大忽小问题 具体分析 2. 应用卡顿问题 具体分析 四.总结 一.背景 在 Android 系统的开发过程当中,音频异常问题通常有如下几类,无声,调节不了声音,爆音,声音卡顿,声音效果异常(忽大忽小,低音缺失等)等. 尤其声音效果这部分问题通常从日志上信息量较少,相对难定位根因.想要分析此类问题,便需要对声音传输链路有一定的了解,能够在链路中对各节点的

  • 10个好用的Web日志安全分析工具推荐小结

    经常听到有朋友问,有没有比较好用的web日志安全分析工具? 首先,我们应该清楚,日志文件不但可以帮助我们溯源,找到入侵者攻击路径,而且在平常的运维中,日志也可以反应出很多的安全攻击行为. 一款简单好用的Web日志分析工具,可以大大提升效率,目前业内日志分析工具比较多,今天推荐十个比较好用的Web日志安全分析工具. 1.360星图 一款非常好用的网站访问日志分析工具,可以有效识别Web漏洞攻击.CC攻击.恶意爬虫扫描.异常访问等行为.一键自动化分析,输出安全分析报告,支持iis/apache/ng

  • 对MySQL慢查询日志进行分析的基本教程

    0.首先查看当前是否开启慢查询: (1)快速办法,运行sql语句 show VARIABLES like "%slow%" (2)直接去my.conf中查看. my.conf中的配置(放在[mysqld]下的下方加入) [mysqld] log-slow-queries = /usr/local/mysql/var/slowquery.log long_query_time = 1 #单位是秒 log-queries-not-using-indexes 使用sql语句来修改:不能按照m

  • MySQL Aborted connection告警日志的分析

    前言: 有时候,连接MySQL的会话经常会异常退出,错误日志里会看到"Got an error reading communication packets"类型的告警.本篇文章我们一起来讨论下该错误可能的原因以及如何来规避. 1.状态变量Aborted_clients和Aborted_connects 首先我们来了解下Aborted_clients和Aborted_connects这两个状态变量的含义,当出现会话异常退出时,这两个状态值会有变化.根据官方文档描述,总结如下: 造成Abo

  • 详解监听MySQL的binlog日志工具分析：Canal

    Canal是阿里巴巴旗下的一款开源项目,利用Java开发.主要用途是基于MySQL数据库增量日志解析,提供增量数据订阅和消费,目前主要支持MySQL. GitHub地址:https://github.com/alibaba/canal 在介绍Canal内部原理之前,首先来了解一下MySQL Master/Slave同步原理: MySQL master启动binlog机制,将数据变更写入二进制日志(binary log, 其中记录叫做二进制日志事件binary log events,可以通过sho

  • JVM完全解读之GC日志记录分析

    JVM完全解读之GC日志记录分析

    相信大家在系统学习jvm的时候都会有遇到过这样的问题,散落的jvm知识点知道很多,但是真正在线上环境遇到一些莫名其妙的gc异常时候却无从下手去分析. 关于这块的苦我也表示能够理解,之前光是JVM相关的八股文就整理了许多,但是经常是不知道如何在实战中使用.最近也尝试在模拟一些案例来训练自己的JVM相关知识,本文特意记录下这段调优经历. Java应用的GC评估 可能大多数程序员在开发完某个需求之后,往线上环境一丢,然后就基本不怎么关注后续的变化了.但是是否有考虑过,这些新引入的代码会对原有系统造成的

  • elasticsearch java客户端action的实现简单分析

    elasticsearch java客户端action的实现简单分析

    上一篇介绍了elasticsearch的client结构,client只是一个门面,在每个方法后面都有一个action来承接相应的功能.但是action也并非是真正的功能实现者,它只是一个代理,它的真正实现者是transportAction.本篇就对action及transportAction的实现做一个简单的分析, elasticsearch中的绝大部分操作都是通过相应的action,这些action在action包中.它的结构如下图所示: 上图是action包的部分截图,这里面对应着各个功能

  • PHP程序员必须知道的两种日志实例分析

    PHP程序员必须知道的两种日志实例分析

    目录 前言 php-fpm 慢日志 开启慢查询日志 php-error 错误日志 开启错误日志 本文实例讲述了PHP程序员必须知道的两种日志.分享给大家供大家参考,具体如下: 前言 作为一名程序员,比码代码还重要那么一点点的东西就是日志的分析和查询.下面列出常见日志及设置方法. php-fpm 慢日志 php慢日志需要在php-fpm.conf设置,如果使用源码包安装默认请执行下面命令 cp php-fpm.conf.default php-fpm.conf 默认通过源码包编译安装php目录应在

  • nginx日志格式分析以及修改详解

    nginx日志格式分析以及修改详解

    目录 一. 打开终端,登录服务器并输入服务器密码 二. 切换到nginx目录 三. 查看nginx日志 四. 修改nginx日志格式 五. 其他日志参数说明 总结 修改nginx日志打印格式 一. 打开终端,登录服务器并输入服务器密码 //ssh 用户名@服务器ip ssh root@192.168.0.132 二. 切换到nginx目录 cd /var/log/nginx/ 三. 查看nginx日志 tail -f access.log 日志说明: //默认的nginx标准日志格式 192.1

  • Spark网站日志过滤分析实例讲解

    目录 日志过滤 日志分析 日志过滤 对于一个网站日志,首先要对它进行过滤,删除一些不必要的信息,我们通过scala语言来实现,清洗代码如下,代码要通过别的软件打包为jar包,此次实验所用需要用到的代码都被打好jar包,放到了/root/jar-files文件夹下: package com.imooc.log import com.imooc.log.SparkStatFormatJob.SetLogger import com.imooc.log.util.AccessConvertUtil i

随机推荐