ElasticSearch事件查询语言EQL操作

目录
  • 前述
    • EQL优点
  • 基础语法
    • 数据准备
    • 数据窗口搜索
    • 统计符合条件的事件
    • 事件序列
  • 安全检测
    • 数据准备
    • 获取regsvr32事件的计数
    • 检查命令行参数
    • 检查恶意脚本加载
    • 检查攻击成功可能性

前述

EQL 的全名是 Event Query Language (EQL)。事件查询语言(EQL)是一种用于基于事件的时间序列数据(例如日志,指标和跟踪)的查询语言。在 Elastic Security 平台上,当输入有效的 EQL 时,查询会在数据节点上编译,执行查询并返回结果。这一切都快速、并行地发生,让用户立即看到结果。

EQL优点

  • EQL 使你可以表达事件之间的关系:许多查询语言允许您匹配单个事件。EQL 使你可以匹配不同事件类别和时间跨度的一系列事件
  • EQL 的学习曲线很低:EQL 语法看起来像其他常见查询语言,例如 SQL。 EQL 使你可以直观地编写和读取查 询,从而可以进行快速,迭代的搜索。
  • EQL 设计用于安全用例:尽管你可以将其用于任何基于事件的数据,但我们创建了 EQL 来进行威胁搜寻。 EQL 不仅支持危害指标(IOC)搜索,而且可以描述超出 IOC 范围的活动

基础语法

数据准备

要运行 EQL 搜索,搜索到的数据流或索引必须包含时间戳和事件类别字段。默认情况下,EQL 使用 Elastic 通用模式(ECS)中的 @timestampevent.category 字段。 @timestamp 表示时间戳,event.category 表示事件分类。

# 创建索引
PUT /gmall
# 批量增加数据
PUT _bulk
{"index":{"_index":"gmall"}}
{
    "@timestamp":"2022-08-10T15:00:00.00+08:00",
    "event":{
        "category":"page"
    },
    "page":{
        "session_id":"42FC7E13-CB3E-5C05-0000-0010A0125101",
        "last_page_id":"",
        "page_id":"login",
        "user_id":""
    }
}
{"index":{"_index":"gmall"}}
{
    "@timestamp":"2022-08-10T15:02:00.00+08:00",
    "event":{
        "category":"page"
    },
    "page":{
        "session_id":"42FC7E13-CB3E-5C05-0000-0010A0125101",
        "last_page_id":"login",
        "page_id":"good_list",
        "user_id":"1"
    }
}
{"index":{"_index":"gmall"}}
{
    "@timestamp":"2022-08-10T15:05:00.00+08:00",
    "event":{
        "category":"page"
    },
    "page":{
        "session_id":"42FC7E13-CB3E-5C05-0000-0010A0125101",
        "last_page_id":"good_list",
        "page_id":"good_detail",
        "user_id":"1"
    }
}
{"index":{"_index":"gmall"}}
{
    "@timestamp":"2022-08-10T15:07:00.00+08:00",
    "event":{
        "category":"page"
    },
    "page":{
        "session_id":"42FC7E13-CB3E-5C05-0000-0010A0125101",
        "last_page_id":"good_detail",
        "page_id":"order",
        "user_id":"1"
    }
}
{"index":{"_index":"gmall"}}
{
    "@timestamp":"2022-08-10T15:08:00.00+08:00",
    "event":{
        "category":"page"
    },
    "page":{
        "session_id":"42FC7E13-CB3E-5C05-0000-0010A0125101",
        "last_page_id":"order",
        "page_id":"payment",
        "user_id":"1"
    }
}
{"index":{"_index":"gmall"}}
{
    "@timestamp":"2022-08-10T15:08:00.00+08:00",
    "event":{
        "category":"page"
    },
    "page":{
        "session_id":"42FC7E13-CB3E-5C05-0000-0010A0125102",
        "last_page_id":"",
        "page_id":"login",
        "user_id":"2"
    }
}
{"index":{"_index":"gmall"}}
{
    "@timestamp":"2022-08-10T15:08:00.00+08:00",
    "event":{
        "category":"page"
    },
    "page":{
        "session_id":"42FC7E13-CB3E-5C05-0000-0010A0125102",
        "last_page_id":"login",
        "page_id":"payment",
        "user_id":"2"
    }
}

数据窗口搜索

在事件响应过程中,有很多时候,了解特定时间发生的所有事件是很有用的。使用一种名为any的特殊事件类型,针对所有事件进行匹配,如果想要匹配特定事件,就需要指明事件分类名称

#
GET /gmall/_eql/search
{
    "query" : """
        any where page.user_id == "1"
    """
}

统计符合条件的事件

GET /gmall/_eql/search
{
    "query" : """
        any where true
    """,
    "filter": {
        "range": {
            "@timestamp": {
                "gte": "1654056000000",
                "lt": "1654056005000"
            }
        }
    }
}

事件序列

  • 页面先访问 login,后面又访问了 good_detail的页面
GET /gmall/_eql/search
{
    "query" : """
      sequence by page.session_id
        [page where page.page_id=="login"]
        [page where page.page_id=="good_detail"]
    """
}

安全检测

EQLElastic Securit 中被广泛使用。实际应用时,我们可以使用 EQL 语言来进行检测安全威胁和其他可疑行为。

数据准备

regsvr32.exe 是一个内置的命令行实用程序,用于在Windows中注册.dll库。作为本机工具,regsvr32.exe 具有受信任的状态,从而使它可以绕过大多数允许列表软件和脚本阻止 程序。有权访问用户命令行的攻击者可以使用 regsvr32.exe 通过.dll库运行恶意脚本,即使在其他情况下也不允许这些脚本运行。

regsvr32 滥用的一种常见变体是Squfullydoo攻击。在 Squfullydoo 攻击中,regsvr32.exe 命令使用 scrobj.dll 库注册并运行远程脚本。

测试数据来自 Atomic Red Team 的测试数据集,其中包括模仿Squibledoo攻击的事件。 数据已映射到Elastic通用架构(ECS)字段:normalized-T1117-AtomicRed-regsvr32.json 将文件内容导入到ES软件中:

# 创建索引
PUT my-eql-index
# 导入数据
POST my-eql-index/_bulk?pretty&refresh
{"index":{}}
{
    ......
}
  • 查看数据导入情况
GET /_cat/indices/my-eql-index?v=true&h=health,status,index,docs.count

获取regsvr32事件的计数

  • 获取与regsvr32.exe进程关联的事件数
# 查询数据
# ?filter_path=-hits.events 从响应中排除hits.events 属性。此搜索仅用于获取事件计数,而不是匹配事件的列表
# query : 匹配任何进程名称为regsvr32.exe的事件
# size : 最多返回200个匹配事件的匹配,实际查询结果为143个
GET my-eql-index/_eql/search?filter_path=-hits.events
{
    "query": """
      any where process.name == "regsvr32.exe"
    """,
    "size": 200
}

检查命令行参数

该查询将一个事件与创建的event.type相匹配,指示regsvr32.exe进程的开始。根据事件的 process.command_line值,regsvr32.exe 使用 scrobj.dll 注册了脚本 RegSvr32.sct.这符合Squibledoo攻击的行为

# 增加过滤条件查询数据
GET my-eql-index/_eql/search
{
    "query": """
       process where process.name == "regsvr32.exe" and process.command_line.keyword != null
    """
}

检查恶意脚本加载

  • 检查regsvr32.exe以后是否加载scrobj.dll
# 增加过滤条件查询数据
GET my-eql-index/_eql/search
{
    "query": """
        library where process.name == "regsvr32.exe" and dll.name == "scrobj.dll"
    """
}

检查攻击成功可能性

在许多情况下,攻击者使用恶意脚本连接到远程服务器或下载其他文件。 使用EQL序列查询来检查以下一系列事件:

  • regsvr32.exe进程
  • 通过相同的进程加载scrobj.dll
  • 同一过程中的任何网络事件
# 增加过滤条件查询数据
GET my-eql-index/_eql/search
{
    "query": """
        sequence by process.pid
            [process where process.name == "regsvr32.exe"]
            [library where dll.name == "scrobj.dll"]
            [network where true]
    """
}

以上就是ElasticSearch事件查询语言EQL操作的详细内容,更多关于ElasticSearch EQL操作的资料请关注我们其它相关文章!

(0)

相关推荐

  • elasticsearch索引的创建过程index create逻辑分析

    目录 索引的创建过程 materOperation方法实现 clusterservice处理 建立索引 修改配置 总结 索引的创建过程 从本篇开始,就进入了Index的核心代码部分.这里首先分析一下索引的创建过程.elasticsearch中的索引是多个分片的集合,它只是逻辑上的索引,并不具备实际的索引功能,所有对数据的操作最终还是由每个分片完成. 创建索引的过程,从elasticsearch集群上来说就是写入索引元数据的过程,这一操作只能在master节点上完成.这是一个阻塞式动作,在加上分配

  • RediSearch加RedisJSON大于Elasticsearch的搜索存储引擎

    目录 RedisMod简介 安装 RediSearch 对比Elasticsearch 索引能力 查询能力 总结 RedisMod简介 Redis是开发中非常常用的内存数据存储中间件,之前基本上用它来做内存存储使用.最近发现Redis推出了很多增强模块,例如通过RedisJSON可以支持原生JSON对象的存储,使用RediSearch可以作为搜索引擎使用,并且支持中文搜索!今天给大家带来RediSearch+RedisJSON作为搜索引擎的使用实践,希望对大家有所帮助! SpringBoot实战

  • elasticsearch索引index之put mapping的设置分析

    目录 mapping的设置过程 put mapping updateTask响应 总结 mapping的设置过程 mapping机制使得elasticsearch索引数据变的更加灵活,近乎于no schema.mapping可以在建立索引时设置,也可以在后期设置. 后期设置可以是修改mapping(无法对已有的field属性进行修改,一般来说只是增加新的field)或者对没有mapping的索引设置mapping. put mapping操作必须是master节点来完成,因为它涉及到集群mate

  • elasticsearch索引创建create index集群matedata更新

    目录 创建索引更新集群index matedata 首先创建index的create方法 从indice中获取对应的IndexService 总结 创建索引更新集群index matedata 创建索引需要创建索引并且更新集群index matedata,这一过程在MetaDataCreateIndexService的createIndex方法中完成.这里会提交一个高优先级,AckedClusterStateUpdateTask类型的task.索引创建需要即时得到反馈,异常这个task需要返回,

  • elasticsearch索引index之merge底层机制的合并讲解

    merge是lucene的底层机制,merge过程会将index中的segment进行合并,生成更大的segment,提高搜索效率.segment是lucene索引的一种存储结构,每个segment都是一部分数据的完整索引,它是lucene每次flush或merge时候形成.每次flush就是将内存中的索引写出一个独立segment的过程.所以随着数据的不断增加,会形成越来越多的segment.因为segment是不可变的,删除操作不会改变segment内部数据,只是会在另外的地方记录某些数据删

  • ElasticSearch事件查询语言EQL操作

    目录 前述 EQL优点 基础语法 数据准备 数据窗口搜索 统计符合条件的事件 事件序列 安全检测 数据准备 获取regsvr32事件的计数 检查命令行参数 检查恶意脚本加载 检查攻击成功可能性 前述 EQL 的全名是 Event Query Language (EQL).事件查询语言(EQL)是一种用于基于事件的时间序列数据(例如日志,指标和跟踪)的查询语言.在 Elastic Security 平台上,当输入有效的 EQL 时,查询会在数据节点上编译,执行查询并返回结果.这一切都快速.并行地发

  • SpringBoot整合Elasticsearch并实现CRUD操作

     配置准备 在build.gradle文件中添加如下依赖: compile "org.elasticsearch.client:transport:5.5.2" compile "org.elasticsearch:elasticsearch:5.5.2" //es 5.x的内部使用的 apache log4日志 compile "org.apache.logging.log4j:log4j-core:2.7" compile "org

  • JS前端知识点总结之页面加载事件,数组操作,DOM节点操作,循环和分支

    本文实例讲述了JS前端知识点总结之页面加载事件,数组操作,DOM节点操作,循环和分支.分享给大家供大家参考,具体如下: 页面加载事件的比较 window.onload jquery 中的 document.ready document.ready = function (callback) { // 兼容FF,Google if (document.addEventListener) { document.addEventListener('DOMContentLoaded', function

  • Python对ElasticSearch获取数据及操作

    使用Python对ElasticSearch获取数据及操作,供大家参考,具体内容如下 Version Python :2.7 ElasticSearch:6.3 代码: #!/usr/bin/env python # -*- coding: utf-8 -*- """ @Time : 2018/7/4 @Author : LiuXueWen @Site : @File : ElasticSearchOperation.py @Software: PyCharm @Descri

  • java实现table添加右键点击事件监听操作示例

    本文实例讲述了java实现table添加右键点击事件监听操作.分享给大家供大家参考,具体如下: 表格监听步骤 1 给表格 添加监听addMouseListener 2 使用MouseAdapter类的mouseClicked方法 3 通过MouseEvent类对象的getbutton方法来判断鼠标操作 BUTTON1 为左键  BUTTON3 为右键 import java.awt.event.MouseAdapter; import java.awt.event.MouseEvent; imp

  • JavaScript常见事件对象与操作实例总结

    本文实例讲述了JavaScript常见事件对象与操作.分享给大家供大家参考,具体如下: 触发 DOM 上的事件时,会生成一个事件对象 event,它包含着所有与事件有关的信息,诸如导致事件的元素.事件的类型以及其他与特定事件相关的信息.所有的浏览器都支持 event 对象,但支持的方式不同. 1 DOM 中的事件对象 兼容 DOM 的浏览器会将 event 对象传入事件处理程序(DOM0 级与 DOM2 级都支持): var btn = document.getElementById("myBt

  • vue双击事件2.0事件监听(点击-双击-鼠标事件)和事件修饰符操作

    Vue 事件处理方法 可以用 v-on 指令监听 DOM 事件,并在触发时运行一些 JavaScript 代码. v-on:click 单击事件 <button class=" btn btn-info" v-on:click="add(1)"> + + </button> <button class=" btn btn-danger " v-on:click="subtract(1)">

  • vue键盘事件点击事件加native操作

    如下所示: <el-card class="box-card animated flipInY"> <el-form :model="ruleForm2" :label-position="labelPosition" status-icon :rules="rules2" ref="ruleForm2" label-width="50px" class="d

  • vue v-for 点击当前行,获取当前行数据及event当前事件对象的操作

    前言 在 v-for 循环语句上,定义一个点击事件 传入两个参数(当行数据.当前事件对象),如下代码片段,当前事件对象必须加上 '$' 符号 <template> <div> <ul> <li v-for="(item, index) in arrData" :key="index" @click="operate(item, $event)" > {{ item.title }} </li&

  • vue组件添加事件@click.native操作

    1,给vue组件绑定事件时候,必须加上native ,否则会认为监听的是来自Item组件自定义的事件 2,等同于在子组件中: 子组件内部处理click事件然后向外发送click事件:$emit("click".fn) <Item @click.native = "shijian()"></Item> 补充知识:vue--组件间(兄弟组件间)事件派发与接收 法一 main.js 在初始化vue之前,给 data 添加一个名为 event 的空v

随机推荐