排查服务器异常流量教程详解

目录
  • 引言
  • 磁盘使用率报警
    • 原因分析
    • 解决方案
      • 1. 日志迁移或清理
      • 2. 日志清理
  • 网站流量异常，一直在报警
  • 通过分析日志排查异常流量
    • 首先切换到日志目录，比如我的目录是
    • 查看访问最频繁的前10个IP
    • 分析结果：
  • 解决异常流量
    • 公网ip访问量最大：
    • 封禁恶意ip
  • 停掉不用的服务
    • 统计访问最多的url 前10名
    • 封禁了不再使用url
  • 优化结果
  • 总结

引言

这篇文章将介绍当WEB服务器报警，提示磁盘使用率问题和带宽满载时的一些排查思路和解决方案。

首先，我们一定要配置服务器的云监控，如果是云厂商的服务器都有监控服务，开通即可。

如果是自建机房，监控报警策略也是必须搭建的。

磁盘使用率报警

原因分析

  • 日志没有及时迁移或清理
  • 程序异常输出了大量的垃圾文件
  • 挂载的硬盘存储空间不足，不适应业务发展，需要挂载新的磁盘。

解决方案

1. 日志迁移或清理

我们需要Nginx日志和项目运行中的关键日志，方便定位问题、数据分析。

日志迁移的思路很简单，目前主流的云厂商都支持日志迁移和存储服务，且成本不高。

如果是自建的服务，可以挂载专门的存储硬盘，不和业务服务器耦合在一起，将日志进行单独存储。

2. 日志清理

  • 切换到根目录
cd /
  • 查找到大文件，比如找到大于100M的文件
find . size +100M
  • 没用的日志大文件置为空(不要直接删除，正在被使用的文件是无法直接删除的)
cat /dev/null > /data/logs/php-fpm/error.log

网站流量异常，一直在报警

当网站流量报警时喜忧参半，如果是因为搞活动或者网站内容命中了热点，被搜索引擎推荐，那真是像买彩票中奖一样高兴。

不过，大多数情况，网站在毫无预兆的情况下突然打满带宽，大概率是被恶意攻击了。

下面介绍一下我的排查思路

首先我登录了网站的统计服务平台，发现PV/UV等关键数据并没有太大变化，但是服务器的带宽却被打满了，说明异常流量不是通过刷网站页面导致的，可能是通过刷接口导致的。

通过分析日志排查异常流量

首先切换到日志目录，比如我的目录是

cd /data/logs/nginx

查看访问最频繁的前10个IP

awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 10

分析结果：

  • 发现访问量最高的ip是自身服务器的外网ip
  • 发现有一组美国谷歌云的异常访问
  • 发现有一个北京xx网的异常访问
  • 其他基本是正常流量

解决异常流量

公网ip访问量最大：

这是一个N年前的老项目，开发时是有一些知识盲点的，没有考虑到内网传输要比外网传输的速度快很多。

通过下面的方式替换了外网传输为内网传输：

  • 项目中的外网ip替换为内网ip（发现项目代码并没有直接访问外网ip，而是访问了子项目的域名）
  • 配置Linux服务器的host
# 打开Linux的hosts配置文件
vim /etc/hosts
# 将项目中请求的多个域名解析到本地的ip地址
127.0.0.1 多个域名用空格分隔

优化完内网传输之后，就开始最重要的事情了：

封禁恶意ip

  • 创建（打开）黑名单配置文件
 vim /etc/nginx/blackip.conf
  • 将black.conf添加到nginx.conf中 (代码段中的...代表省略的内容)
http{
.
.
.
    #ip黑名单
    include /etc/nginx/blackip.conf;
.
.
.
}
  • 添加要封禁的黑名单
#屏蔽单个ip访问
deny IP;
#允许单个ip访问
allow IP;
#屏蔽所有ip访问
deny all;
#允许所有ip访问
allow all;
#屏蔽整个段：从127.0.0.1到127.255.255.254
deny 127.0.0.0/8;
#屏蔽IP段：从127.45.0.1到127.45.255.254
deny 127.45.0.0/16;
#屏蔽IP段：从127.45.6.1到127.45.6.254
deny 127.45.6.0/24;
  • 重启Nginx服务
nginx -s reload

停掉不用的服务

在查询Nginx的log时，发现一些不再用的服务仍然有请求日志。

果断停掉这些服务。

统计访问最多的url 前10名

cat access.log |awk '{print $7}'| sort|uniq -c| sort -rn| head -10 | more

封禁了不再使用url

  • 小程序接口封禁
  • 网站快报相关的接口封禁

优化结果

在进行上述操作后，收到了服务器报警恢复正常的短信通知。

今天早晨登录服务器监控后台，发现效果是灰常明显的：

红线左侧是处理异常流量前的带宽波动图，右侧是处理后的波动图，浅色波动线是昨天的流量情况。

总结

这是7年前刚入行时做的项目，单机部署，排查思路比较简单清晰：查日志，封ip。

在微服务+分布式成为主流的今天，又要用哪些思路和工具排查问题呢？

以上就是排查服务器异常流量教程详解的详细内容，更多关于排查服务器异常流量的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • Android实现捕获未知异常并提交给服务器的方法

    本文实例讲述了Android实现捕获未知异常并提交给服务器的方法.分享给大家供大家参考,具体如下: 在Android应用中,即便应用已经投放市场,但有时也会遇到一些未知的异常,此时如果能够获得用户的反馈信息,那么对于我们应用的开发是一个很好的帮助 为了实现这样的效果,我们需要做如下工作 写一个类实现UncaughtExceptionHandler接口,重写uncaughtException方法 功能描述:当应用出现了未知异常,应用强制退出,应用再次启动时,提示用户是否将错误信息反馈给开发者 pu

  • android 捕捉异常并上传至服务器的简单实现

    在项目中,我们的应用经常会遇到崩溃的情况,如果你的项目已经发送到了应用市场上,那么应用发生的崩溃开发人员是开不到的,所以我们要想办法将异常信息传到服务器上,便于开发人员查看并作出修改.Google考虑到这一点,也提供了Thread.UncaughtExceptionHandler接口来实现这一问题. 创建Crash异常捕获很简单,主要的步骤有: 1.创建BaseApplication继承Application并实现Thread.UncaughtExceptionHandler 2.通过Threa

  • nginx服务器异常502 bad gateway原因排查

    nginx服务器异常502 bad gateway原因排查

    服务器进行公众号粉丝数据同步以及批量推送报错502 根据错误信息可以判定是后端的问题,502错误的原因有很多种,但总的来说就是服务器处理不过来了 1.首先查看服务器日志 1)先查nginx日志,不熟悉的可以从nginx.conf中获取error_log的路径,找到错误如下: 发现nginx进程处理的连接数不够用,单个进程处理的连接数超过了nginx.conf配置的worker_connections值 通常worker_connections的值可以参考单个进程打开的最大连接数,命令为:ulim

  • Windows服务器上lsass.exe进程CPU使用率异常问题排查方法

    近期有几台服务器相继出现 lsass.exe 占用CPU过高,也不算太高,而且过了一段时间又会恢复正常,CPU过高直接造成网站打开很慢,周而反复. 在CPU跑高的时候,伴随着一个现像就是网络的浮动,有时候上传居然达到了30M - 90M/s,对外攻击,第一时间就想到有可能是这个原因,那具体怎么查呢? 常见的对外文件,这东西网上搜一下就能找到. 复制代码 代码如下: <?php set_time_limit(86400); ignore_user_abort(True); $packets = 0

  • 服务器免密登录的实现以及异常解决方案

    服务器免密登录的实现以及异常解决方案

    当我们在现在创建测试用Linux服务器或者服务器集群的时候,需要通过终端连接自己创建的服务器. 实现步骤分为2步: 1.生成SSH Key: 2.覆盖authorized_keys文件 1.生成SSH Key 我们看到生成了以上一些列文件. 2.覆盖authorized_keys文件 因为authorized_keys文件中存储某个ssh key的公钥.如果不覆盖的话,就只能使用这个公钥登录了.不知道理解的对不对.欢迎指正. 3.配置无效,还是需要输入密码的解决方案 但是,很多人在这样配置之后还

  • 排查服务器异常流量教程详解

    排查服务器异常流量教程详解

    目录 引言 磁盘使用率报警 原因分析 解决方案 1. 日志迁移或清理 2. 日志清理 网站流量异常,一直在报警 通过分析日志排查异常流量 首先切换到日志目录,比如我的目录是 查看访问最频繁的前10个IP 分析结果: 解决异常流量 公网ip访问量最大: 封禁恶意ip 停掉不用的服务 统计访问最多的url 前10名 封禁了不再使用url 优化结果 总结 引言 这篇文章将介绍当WEB服务器报警,提示磁盘使用率问题和带宽满载时的一些排查思路和解决方案. 首先,我们一定要配置服务器的云监控,如果是云厂商的

  • Ubuntu 用vsftpd 配置FTP服务器教程详解

    本文在Ubuntu Server 14.04 amd64系统测试. 安装ftp sudo apt-get install vsftpd 配置vsftpd.conf sudo nano /etc/vsftpd.conf #禁止匿名访问 anonymous_enable=NO #接受本地用户 local_enable=YES #允许上传 write_enable=YES #用户只能访问限制的目录 chroot_local_user=YES #设置固定目录,在结尾添加.如果不添加这一行,各用户对应自己

  • Linux server配置安装Java与Tomcat服务器教程详解

    系统:Ubuntu 16.04 dev_desktop 1.Java安装并配置环境变量 (1)从Java官方网站下载最新版JDK: http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载jdk压缩包 jdk-8u144-linux-x64.tar.gz (2)  将压缩包解压并复制到/usr/lib 目录下 tar -zxvf jdk-8u144-linux-x64.tar.gz sudo cp -r ./jdk

  • ubuntu 安装openssh服务器的教程详解

    ubuntu 安装openssh服务器的教程详解

    1.安装openssh 首先得安装 openssl 和zlib 安装openssl ---下载openssl-1.0.1j.tar.gz,解压到/usr/openssl/目录下进入解压目录 执行./config -fPIC 如下图 安装zlib---下载zlib-1.2.8.tar.gz解压到/usr/zlib/目录下 执行./configure make 和 make install命令 ok 2.下载openssh.tar.gz包解压放在/usr/openssh/目录下 解压 如图 执行 .

  • Spring boot项目部署到云服务器小白教程详解

    本篇文章主要介绍了Spring boot项目部署到云服务器小白教程详解,分享给大家,具体如下: 测试地址:47.94.154.205:8084 一.Linux下应用Shell通过SSH连接云服务器 //ssh 用户名@公网IP ssh josiah@ip // 输入密码 二.开始搭建SpringBoot的运行环境 1．安装JDK并配置环境变量 1) 打开JDK官网 www.oracle.com 2) 找面最新对应的JDK版本,下载 这里要注意的一个问题是:云服务器下载JDK时一定要在本地去ora

  • 云服务器宝塔面板的安装图文教程详解

    0x01.安装宝塔面板 宝塔面板是一个非常简单易用的服务器运维面板,可视化面板,减弱了新手在应对命令式操作Linux服务器时的恐惧感.在安装该面板后,不需要再在服务器上用命令行手动安装.配置Nginx 服务器这些必须的环境配置软件,只需要一键即可完成环境配置.软件安装,对新手以及想快速开发的人员特别友好! 系统要求(来自官方) 内存:512M以上,推荐768M以上(纯面板约占系统的60M内存) 硬盘:100M以上可用的硬盘空间(纯面板占约20M的磁盘空间) 系统:CentOS 7.1+(Ubun

  • Django+python服务器部署与环境部署教程详解

    需要准备环境:python3.6.vultr(或者其他服务器).xshell 第一步:python安装必备环境Django库 Xshell链接远程主机: 点击连接之后:弹窗输入访问用户及密码,一般为root用户 成功连接到目标服务器: [root@vultr ~]# 安装python以及需要环境(此为安装完python3.6环境),运行pip安装即可: pip install django 提示Success安装成功 第二步:项目创建 首先cd到自己想要新建项目的路径: 我这里选择的是在data

  • Go错误和异常CGO fallthrough处理教程详解

    Go错误和异常CGO fallthrough处理教程详解

    目录 fallthrough 代码示例 执行结果 CGO 错误&异常 处理错误:error 处理异常:panic&recover panic&defer defer执行顺序 总结 对比Java.C++ 错误异常互相转换 fallthrough 在一个 switch 块内,每个 case 无需声明 break 来终止,如果想顺序执行使用fallthrough: 如果我们想强制执行满足条件case的后一个case,也可以通过设置fallthrough的方式: 代码示例 package

  • Struts2数据输入验证教程详解

    Struts2数据输入验证教程详解

    一.前言 1.1.什么是输入验证?为什么需要输入验证? 在上一篇文章中,我们学习了数据类型转换,我们提到了表示层数据处理的两个方法,也提到了用户输入数据需要进行类型转换才能得到我们想要的数据,那么,我们怎么确定类型转换后的数据,是我们想要的数据呢?这里有点绕.你可以这样想:一个成年男子年龄是18岁,你现在想要得到18这个数据,但是,用户输入32,经过类型转换也是对的,但是数据不是你想要的.这时候,我们要怎么办?所以输入验证在这里就有用处了. 类型转换和输入验证的关系是:类型转换是输入验证的前提,

  • vue项目前端错误收集之sentry教程详解

    sentry简介 Sentry 是一个开源的错误追踪工具,可以帮助开发人员实时监控和修复系统中的错误.其专注于错误监控以及提取一切事后处理所需的信息;支持几乎所有主流开发语言( JS/Java/Python/php )和平台, 并提供了web来展示输出错误. sentry官网: https://sentry.io/ sentry安装 sentry 是一个开源的工具,可以自行搭建. 官方支持两种安装和运行 Sentry 服务器的方法, Docker 和 Python .推荐使用 Docker .

随机推荐