Docker容器中运行flume及启动不输出运行日志问题

flume配置文件如下:

# Name the components on this agent
app1.sources = r1
app1.sinks = k1
app1.channels = c1
# Describe/configure the source
app1.sources.r1.type = avro
app1.sources.r1.bind = 0.0.0.0
app1.sources.r1.port = 44444
# Describe the sink
#a1.sinks.k1.type = logger
app1.sinks.k1.type = file_roll
app1.sinks.k1.sink.directory = /var/log/my/app1
app1.sinks.k1.sink.rollInterval=86400
app1.sinks.k1.sink.batchSize=100
app1.sinks.k1.sink.serializer=text
app1.sinks.k1.sink.serializer.appendNewline = false
# Use a channel which buffers events in memory
app1.channels.c1.type = memory
app1.channels.c1.capacity = 1000
app1.channels.c1.transactionCapacity = 100
app1.channels.c1.byteCapacity = 100000000
app1.channels.c1.byteCapacityBufferPercentage = 10
# Bind the source and sink to the channel
app1.sources.r1.channels = c1
app1.sinks.k1.channel = c1
# Name the components on this agent
app2.sources = r2
app2.sinks = k2
app2.channels = c2
# Describe/configure the source
app2.sources.r2.type = avro
app2.sources.r2.bind = 0.0.0.0
app2.sources.r2.port = 44445
# Describe the sink
#a1.sinks.k1.type = logger
app2.sinks.k2.type = file_roll
app2.sinks.k2.sink.directory = /var/log/my/app2
app2.sinks.k2.sink.rollInterval=86400
app2.sinks.k2.sink.batchSize=100
app2.sinks.k2.sink.serializer=text
app2.sinks.k2.sink.serializer.appendNewline = false
# Use a channel which buffers events in memory
app2.channels.c2.type = memory
app2.channels.c2.capacity = 1000
app2.channels.c2.transactionCapacity = 100
app2.channels.c2.byteCapacity = 100000000
app2.channels.c2.byteCapacityBufferPercentage = 10
# Bind the source and sink to the channel
app2.sources.r2.channels = c2
app2.sinks.k2.channel = c2 

dockerfile如下:

FROM ubuntu:16.04
MAINTAINER XXX "XXX@XXXXX.com"
RUN apt-get update
ADD jdk-8u77-linux-x64.tar.gz /usr/local/java
RUN cp /etc/profile /etc/profile.bak
ENV JAVA_HOME /usr/local/java/jdk1.8.0_77
ENV PATH $JAVA_HOME/bin:$PATH
ENV CLASSPATH .:$JAVA_HOME/lib
ADD apache-flume-1.7.0-bin.tar.gz /usr/local/flume
RUN apt-get install -y tzdata
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
RUN echo "Asia/Shanghai" > /etc/timezone
RUN dpkg-reconfigure -f noninteractive tzdata
ENV LANG C.UTF-8
WORKDIR /var/log
RUN mkdir my
WORKDIR /var/log/my
RUN mkdir app1
RUN mkdir app2
EXPOSE 44444
EXPOSE 44445
ENTRYPOINT (/usr/local/flume/apache-flume-1.7.0-bin/bin/flume-ng agent --conf /usr/local/flume/apache-flume-1.7.0-bin/conf -conf-file /usr/local/flume/apache-flume-1.7.0-bin/conf/flume-conf.properties --name app1 &) && (/usr/local/flume/apache-flume-1.7.0-bin/bin/flume-ng agent --conf /usr/local/flume/apache-flume-1.7.0-bin/conf -conf-file /usr/local/flume/apache-flume-1.7.0-bin/conf/flume-conf.properties --name app2 &) && /bin/bash

下面看下flume 启动不输出运行日志

问题

以前碰到的一个问题,算是一个小问题,flume 用命令

./flume-ng agent -c /opt/apps/flume/conf -f /opt/apps/flume/conf/syslog_tcp.conf -n a1 -Dflume.root.logger=INFO,console

启动的时候,flume使用的log4j不起效,不会输出日志到日志文件。

解决

在启动时去掉

-Dflume.root.logger=INFO,console

这个命令就好了。flume的log4j就正常工作了。也算是一个坑。

加上这个命令会将运行的日志在控制台输出。

总结

以上所述是小编给大家介绍的 Docker容器中运行flume及启动不输出运行日志问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对我们网站的支持!

(0)

相关推荐

  • 详解利用ELK搭建Docker容器化应用日志中心

    概述 应用一旦容器化以后,需要考虑的就是如何采集位于Docker容器中的应用程序的打印日志供运维分析.典型的比如SpringBoot应用的日志 收集.本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志,并且可以用可视化的方式对日志进行查询与分析,其架构如下图所示: 架构图 镜像准备 镜像准备 ElasticSearch镜像 Logstash镜像 Kibana镜像 Nginx镜像(作为容器化应用来生产日志) 开启Linux系统Rsyslog服务 修改Rsyslog服务配置文件: v

  • docker中使用mongodb数据库详解(在局域网访问)

    前言 有了docker,基本上就告别了各种软件.数据库的安装,直接从镜像库pull下来,爽,想想以前那真是一个遭罪啊. 这文章就来看一下如何跑mongo的docker镜像,并且可以在局域网访问,内容相对简单,也是记录我的自学过程. 第一步 获得mongo镜像,命令如下, # 拉取mongo镜像 docker pull mongo # 查看本地库mongo镜像 docker images mongo 第二步 启动mongo镜像,如下 # 启动mongo镜像 docker run -itd -P -

  • 滚动 docker 中的 nginx 日志思路详解

    docker使用 1. docker ps 查看运行中的容器 2. docker images 查看docker镜像 3. docker rm id(容器id)  删除容器(容器id可以通过docker ps查看,容器必须停止后才能删除) 3.1 删除全部的容器 docker rm `docker ps -a -q` 4. docker stop  id(容器id) 停止容器运行 5. docker rmi  id(镜像id) 删除镜像 6. docker pull ubuntu:16.04(镜

  • Docker构建ELK Docker集群日志收集系统

    当我们搭建好Docker集群后就要解决如何收集日志的问题 ELK就提供了一套完整的解决方案 本文主要介绍使用Docker搭建ELK 收集Docker集群的日志 ELK简介 ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个完全开源的工具,他可以对你的日志进行收集.过滤,并将

  • 基于Docker的MongoDB实现授权访问的方法

    基于Docker部署一个数据库实例通常比直接在服务器上安装数据库还要简单,Gevin在开发环境中经常使用基于docker的数据库服务,docker也渐渐成为Gevin在Linux上安装MongoDB的首选方式,由于MongoDB默认是不用通过认证就能直接连接的,出于安全考虑,在公网上部署MongoDB时,务必设置authentication机制,以避免类似 "黑客赎金" 问题的发生. 那么,基于Docker拉起的MongoDB,如何实现通过用户名密码访问指定数据库呢?方法很简单,但前提

  • Docker容器 日志中文乱码问题解决办法

    Docker容器 日志中文乱码问题解决办法 1. 找到dockerfile文件, 如 /use/local/src/Docker/Dockerfile 2. 编辑Dockerfile 添加 ENV LANG en_US.UTF-8 ENV LANGUAGE en_US:en ENV LC_ALL en_US.UTF-8 3. 生成新的镜像文件 docker build -t centos7 . 4. 使用docker images查看新生成的镜像 5. 使用新的镜像启动容器 docker run

  • 如何利用MongoDB存储Docker日志详解

    前言 日志是系统很重要的一个组成部分,通过日志可以及时发现系统中存在的问题,也可以为修复问题提供线索.Docker提供了多种插件方式管理日志,本文就对使用MongoDB存储Docker日志的过程做个记录. 数据流 Docker产生的日期 发送到 FluentD,然后FluentD在转存到MongoDB. 配置Fluentd 前提:操作系统是CentOS7,已安装MongoDB3.4 1. 安装Fluentd CentOS 7的软件库并没有包含Fluentd的安装包,所以需要手动安装.在CentO

  • 详解Docker守护进程的配置及日志

    安装Docker并启动,在Docker所在的服务器上,就一直有一个Docker守护进程dockerd在运行. 默认手工启动Docker守护进程,只需要执行如下命令: dockerd 停止上述进程,只需要CTRL+C键盘命令. 1. dockerd的配置文件 如果要使用非默认配置参数启动Docker守护进程,可以在启动Docker守护进程的时候,为dockerd命令设置启动选项,不过显然这需要先通知dockerd,然后再启动dockerd. 如果要在不停止dockerd的条件下改变dockerd的

  • Docker容器中运行flume及启动不输出运行日志问题

    flume配置文件如下: # Name the components on this agent app1.sources = r1 app1.sinks = k1 app1.channels = c1 # Describe/configure the source app1.sources.r1.type = avro app1.sources.r1.bind = 0.0.0.0 app1.sources.r1.port = 44444 # Describe the sink #a1.sink

  • 在 Docker 容器中运行 PHPMyAdmin的详细步骤

    目录 基本用法 预设服务器 使用 MySQL Docker 容器 使用 Docker Compose 简化部署 配置安装 概括 PHPMyAdmin是 MySQL 和 MariaDB 数据库的流行管理界面.它允许您使用 Web 浏览器与您的模式.表和数据进行交互.phpMyAdmin能够为你的MySQL提供直观.方便的Web管理界面,非常好用. 该项目有一个官方的 Docker 镜像,它简化了在容器化环境中的部署.以下是如何使用图像快速运行新的 PHPMyAdmin 实例. 基本用法 最简单的安

  • Docker容器中运行nginx

    nginx简介 Nginx是一款面向性能设计的HTTP服务器,相较于Apache.lighttpd具有占有内存少,稳定性高等优势.与旧版本(<=2.2)的Apache不同,nginx不采用每客户机一线程的设计模型,而是充分使用异步逻辑,削减了上下文调度开销,所以并发服务能力更强.整体采用模块化设计,有丰富的模块库和第三方模块库,配置灵活. 在Linux操作系统下,nginx使用epoll事件模型,得益于此,nginx在Linux操作系统下效率相当高.同时Nginx在OpenBSD或FreeBSD

  • 详解在Docker容器中运行Spring Boot应用

    spring Boot简化了Spring应用的开发过程,遵循约定优先配置的原则提供了各类开箱即用(out-of-the-box)的框架配置.另一方面,Spring Boot还具备将代码直接构建为可执行jar包的能力,这个jar包是一个可以独立运行的部署单元.基于以上特性,现在普遍认为Spring Boot提供了一种快速构造微服务(Micro-Service)的能力. Docker与Spring Boot Docker是一种Linux容器的实现,Linux容器是基于进程的轻量级资源隔离技术,每一个

  • Docker中Dockerfile之容器中运行MyEclipse搭建的JavaWeb项目

    这篇文章将讲述如何将上一篇文章中的Javaweb项目制作成Docker的镜像.小编觉得挺不错的,现在分享给大家,也给大家做个参考.一起跟随小编过来看看吧 应用程序在Docker容器中运行和在物理机运行的原理是一样的,所以我们部署这个Javaweb项目到Docker中的步骤应该如下: 服务器支持(这里选择Centos7) 安装Java环境 安装Tomcat环境 将Tomcat根目录下的webapps/ROOT目录下的所有文件(夹)删除 将自己开发的web项目的WebRoot目录下的所有文件(夹)复

  • 在Docker容器中不需要运行sshd的原因浅析

    当开始使用Docker时,人们经常问:"我该如何进入容器?",其他人会说"在你的容器里运行一个SSH服务器".但是,从这篇博文中你将会了解到你根本不需要运行SSHd守护进程来进入你的容器.当然,除非你的容器就是一个SSH服务器. 运行SSH服务器是很想当然的,因为它提供了进入容器的简便方式.在我们公司基本上每个人都最少使用过一次SSH.我们中有很大一部分人每天都会使用它,并且他们很熟悉公钥与私钥,无密码登录,密钥代理,甚至有时会使用端口转发和其他不常用的功能.正因如

  • 详解挂载运行的docker容器中如何挂载文件系统

    前言 感觉最近很多人都在问docker相关的问题,关于怎么操作一个已经启动的docker容器的文件系统,首先我发现这非常困难,因为 mnt的命名空间. 为了登录进入一个已经启动的docker容器,我们需要这么做: 使用nsenter来在临时挂载点上挂载整个docker容器的文件系统. 创建一个特定目录的绑定挂载来当作卷来使用. 卸载临时挂载. 好吧,开始实践. 启动一个名为charlie的docker实例: $ docker run --name charlie -ti ubuntu bash

  • 详解如何在 docker 容器中捕获信号

    我们可能都使用过 docker stop 命令来停止正在运行的容器,有时可能会使用 docker kill 命令强行关闭容器或者把某个信号传递给容器中的进程.这些操作的本质都是通过从主机向容器发送信号实现主机与容器中程序的交互.比如我们可以向容器中的应用发送一个重新加载信号,容器中的应用程序在接到信号后执行相应的处理程序完成重新加载配置文件的任务.本文将介绍在 docker 容器中捕获信号的基本知识. 信号(linux) 信号是一种进程间通信的形式.一个信号就是内核发送给进程的一个消息,告诉进程

  • 深入理解docker容器中的uid和gid

    默认情况下,容器中的进程以 root 用户权限运行,并且这个 root 用户和宿主机中的 root 是同一个用户.听起来是不是很可怕,因为这就意味着一旦容器中的进程有了适当的机会,它就可以控制宿主机上的一切!本文我们将尝试了解用户名.组名.用户 id(uid)和组 id(gid)如何在容器内的进程和主机系统之间映射,这对于系统的安全来说是非常重要的.说明:本文的演示环境为 ubuntu 16.04(下图来自互联网). 先来了解下 uid 和 gid uid 和 gid 由 Linux 内核负责管

  • 如何隔离docker容器中的用户的方法

    笔者在前文<理解 docker 容器中的 uid 和 gid>介绍了 docker 容器中的用户与宿主机上用户的关系,得出的结论是:docker 默认没有隔离宿主机用户和容器中的用户.如果你已经了解了 Linux 的 user namespace 技术(参考<Linux Namespace : User>),那么自然会问:docker 为什么不利用 Linux user namespace 实现用户的隔离呢?事实上,docker 已经实现了相关的功能,只是默认没有启用而已.笔者将在

随机推荐