基于Docker快速搭建ELK的方法

【摘要】 本文基于自建的Docker平台速搭建一套完整的ELK系统，相关的镜像直接从Docker Hub上获取，可以快速实现日志的采集和分析检索。

准备镜像

  • 获取ES镜像：docker pull elasticsearch:latest
  • 获取kibana镜像：docker pull kibana:latest
  • 获取logstash镜像：docker pull logstash:latest

启动Elasticsearch

官方镜像里面ES的配置文件保存在/usr/share/elasticsearch/config，如果有需要可以将该目录映射到宿主机上；数据文件目录/usr/share/elasticsearch/data，这里我们把数据目录映射出来；容器默认对外提供9200端口，用作API交互。

docker run --name elasticsearch \
-v "$PWD/esdata":/usr/share/elasticsearch/data \
-p 9200:9200 \
-d elasticsearch

容器启动以后可以调用一把验证一下:

启动Kibana

Kibana作为ES操作的UI，需要跟ES容器通信，所以这里要将ES的容器link一下，对外提供5601端口做页面交互。

docker run --name kibana \
--link elasticsearch:elasticsearch \
-p 5601:5601 \
-d kibana

容器启动后用浏览器访问5601端口，可以看到kibana页面，首次访问的时候可能会提示没有建立默认索引，这里需要在管理页面上创建一个默认索引。默认索引通常叫做logstash-*，如下图所示创建一个默认索引。

启动Logstash

Logstash主要作用是收集日志，这个组件有很多插件，可以支持大部分日志集成方式，如tcp、udp、jdbc、文件、队列等，他的配置非常简单，启动方式也很简单，这里以nginx的访问日志为例，我们配置logstash读取nginx的access.log，然后把日志转发到Elasticsearch

首先编译一个logstash配置文件logstash.conf，内容如下：

input{

   file{

      path=>"/tmp/nginx/logs/access.log"

   }

}output{

   stdout{   } #日志输出到控制台

   #输出到es

   elasticsearch{

      hosts=>"100.100.x.231"

   }

}

启动容器，这里我们把nginx的日志放在/tmp/nginx/logs/access.log，为了让容器能读到这个日志，需要把日志目录映射到容器里面。

docker run –it –rm -v /tmp/nginx/logs/access.log:/tmp/nginx/logs/access.log -f /config-dir/logstash.conf

接下来我们可以全流程测试一下日志收集展示的过程。首先在nginx里面造点访问日志，比如直接curl调nginx服务端口，或者直接往access.log里面写数据也行。这时候再logstash容器我们可以看到如下日志输出：

再往后，打开Kibana页面就可以看到实时写入的日志数据了：

总结

Docker容器使ELK搭建变得非常便捷，通过ELK可以快速分析检索日志，发现问题，ELK的几个核心贡献者成立了一家公司叫Elastic，目前跟我司也有一些合作，在开源的基础上该公司也发布了一些商业产品，名为X-Pack，提供了机器学习、图算法以及安全技术上的诸多加强，有兴趣的同学可以自行了解。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 使用Docker搭建ELK日志系统的方法示例

    使用Docker搭建ELK日志系统的方法示例

    以下安装都是以 ~/ 目录作为安装根目录. ElasticSearch 下载镜像: $ sudo docker pull elasticsearch:5.5.0 运行ElasticSearch容器: $ sudo docker run -it -d -p 9200:9200 -p 9300:9300 \ -v ~/elasticsearch/data:/usr/share/elasticsearch/data \ --name myes elasticsearch:5.5.0 特别注意的是如果使

  • 详解利用ELK搭建Docker容器化应用日志中心

    概述 应用一旦容器化以后,需要考虑的就是如何采集位于Docker容器中的应用程序的打印日志供运维分析.典型的比如SpringBoot应用的日志 收集.本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志,并且可以用可视化的方式对日志进行查询与分析,其架构如下图所示: 架构图 镜像准备 镜像准备 ElasticSearch镜像 Logstash镜像 Kibana镜像 Nginx镜像(作为容器化应用来生产日志) 开启Linux系统Rsyslog服务 修改Rsyslog服务配置文件: v

  • 使用docker compose搭建一个elk系统的方法

    找了不少使用 docker-elk 搭建的博客, 英文的阅读吃力不说, 镜像源也是慢的让人头皮发麻, 因此重新编排了一个docker-compose,源都是从 https://hub.docker.com/ 上找的, 即使拉的国内镜像源应该也能很好的支持了吧? 环境 Docker 18.06.0-ce docker-compose 1.22.0 给每个容器最少分配 1G 的内存 软件版本 logstash: 5.* elasticsearch: 5.* kibana: 5.* 启动前的配置 在各

  • 基于Docker快速搭建ELK的方法

    [摘要] 本文基于自建的Docker平台速搭建一套完整的ELK系统,相关的镜像直接从Docker Hub上获取,可以快速实现日志的采集和分析检索. 准备镜像 获取ES镜像:docker pull elasticsearch:latest 获取kibana镜像:docker pull kibana:latest 获取logstash镜像:docker pull logstash:latest 启动Elasticsearch 官方镜像里面ES的配置文件保存在/usr/share/elasticsea

  • 使用docker快速搭建Spark集群的方法教程

    使用docker快速搭建Spark集群的方法教程

    前言 Spark 是 Berkeley 开发的分布式计算的框架,相对于 Hadoop 来说,Spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率,目前收到广泛关注.下面来一起看看使用docker快速搭建Spark集群的方法教程. 适用人群 正在使用spark的开发者 正在学习docker或者spark的开发者 准备工作 安装docker (可选)下载java和spark with hadoop Spark集群 Spark运行时架构图 如上图: Spark集群由以下两个部分组成 集

  • Docker快速搭建Redis集群的方法示例

    什么是Redis集群 Redis集群是Redis提供的分布式数据库方案,集群通过分片(sharding)来进行数据共享,并提供复制和故障转移功能. 节点 一个Redis集群通常由多个节点(node)组成,在刚开始的时候,每个节点都是相互独立的,它们都处于一个只包含自己的集群当中,要组建一个真正可工作的集群,我们必须将各个独立的节点连接起来,构成一个包含多个节点的集群. 集群配置 配置文件 下载配置文件:https://raw.githubusercontent.com/antirez/redis

  • Linux环境下快速搭建ftp服务器方法介绍

    Linux环境下快速搭建ftp服务器方法介绍

    本文研究的主要是Linux环境下快速搭建ftp服务器方法,具体如下.首先看看ftp的介绍: FTP 是File Transfer Protocol(文件传输协议)的英文简称,而中文简称为"文传协议".用于Internet上的控制文件的双向传输.同时,它也是一个应用程序(Application).基于不同的操作系统有不同的FTP应用程序,而所有这些应用程序都遵守同一种协议以传输文件.在FTP的使用当中,用户经常遇到两个概念:"下载"(Download)和"上

  • 一文教你如何通过 Docker 快速搭建各种测试环境

    今天给大家分享的主题是,如何通过 Docker 快速搭建各种测试环境,本文列举的,也是作者在工作中经常用到的,其中包括 MySQL.Redis.Elasticsearch.MongoDB 安装步骤,通过几行命令秒秒钟就能轻松搞定. 友情提示:搭建之前,你需要先安装 Docker 哟,本文基于您已经安装好 Docker 的基础上!如果你想和更多Docker技术专家交流,可以加我微信liyingjiese,备注『加群』.群里每周都有全球各大公司的最佳实践以及行业最新动态. 废话少说,正文开始! 一.

  • Docker环境搭建的简单方法

    首先了解一下Docker是什么? Docker是一个容器引擎,可以用来部署应用.通过 Docker,可以实现快速交付,测试和部署代码,可移植性强. Docker主要包括3个基本概念: 镜像.容器.仓库 镜像:是用于创建 Docker 容器的模板,类似于我们装虚拟机的时候下载的windows或者linux系统镜像. 容器:是独立运行的一个或一组应用,是镜像运行时的实体,类似于我们在虚拟机软件上安装一个windows系统,那这个运行的系统就是一个容器.容器可以被创建.启动.停止.删除.暂停等. 仓库

  • 详解用Docker快速搭建一个博客网站

    详解用Docker快速搭建一个博客网站

    目录 一.准备工作 二.部署流程  三.访问测试 Halo 是一款现代化的个人独立博客系统,给习惯写博客的同学多一个选择. 官网地址:https://halo.run/ 一.准备工作 本章教程基于Docker搭建,所以需要你提前在服务器上安装好Docker环境. Docker安装教程:https://www.jb51.net/article/94067.htm 二.部署流程 (1)创建工作目录 mkdir ~/.halo && cd ~/.halo (2)下载配置文件到工作目录 wget

  • Docker快速搭建PHP+Nginx+Mysql环境及踩坑

    Docker快速搭建PHP+Nginx+Mysql环境及踩坑

    目录 准备 创建目录 配置PHP 拉取php-fpm镜像 启动php-fpm 配置Nginx 拉取Nginx镜像 配置nginx.conf 启动Nginx 配置MySQL 拉取MySQL镜像 启动MySQL 常见问题 1.thinkphp报错 Undefined class constant 'MYSQL_ATTR_INIT_COMMAND' 2.thinkphp 报错 STORAGE_WRITE_ERROR:./Application/Runtime/Cache/Home/4e64ea6a20

  • 使用Docker Swarm 搭建Wordpress的方法

    起因 我曾经把 wordpress 搭建在 Vultr 上,但是因为众所周知的原因,这个地方访问越来越慢.再后来我选择了新浪云,新浪云的确够便宜,也很不错,但是要备案,还有评论功能估计要阉割,想想还是算了,找个香港的主机搭建 wordpress 即可. 购买主机 我这里选择的是阿里云的轻量应用服务器,这个主机的好处就是便宜,够用. 比如我选择的香港的主机,一个月只需要 24 块钱,一核心一G内存,网速为 30Mbps,磁盘空间 25GB,月流量 1TB. 配置如下图 初始化 docker 环境

  • docker快速安装rabbitmq的方法步骤

    一.获取镜像 #指定版本,该版本包含了web控制页面 docker pull rabbitmq:management 二.运行镜像 #方式一:默认guest 用户,密码也是 guest docker run -d --hostname my-rabbit --name rabbit -p 15672:15672 -p 5672:5672 rabbitmq:management #方式二:设置用户名和密码 docker run -d --hostname my-rabbit --name rabb

随机推荐