故障的机器修好后重启，狂拉主库binlog，导致网络问题的解决方法

问题简述：

一周前，有一台mysql服务器发生硬件故障，停机了。我们给专门负责这块的同学提交了申请，他们负责去报修这台服务器。今天这台服务器修好后，他们将其开机启动。服务器上的4个mysql实例在开机后自动启动，开始拉主库的binlog。由于这台服务器停机时间比较久，日志丢的比较多，狂拉主库的binlog，导致主库网络出现问题。

现象：
首先，我们完全没有意识到是因为一台坏掉的服务器重启拉主库binlog导致的，因为我们压根不知道 这台服务器什么情况，只知道1周前，我们报修了1台服务器。具体什么情况，有没有修好，有没有开机，我们完全不知道。

在这样的情况下，忽然听到网络的同学说mysql有一台机器网络流量过大，导致业务感觉很慢，总共持续了17分钟。其实这样，是没有多大头绪的。

排查：

查看processlist、全日志、慢日志都没有发现有什么问题。

查看监控，发现那段时间的服务器的读IO骤然升高。

通过查看processlist的历史记录，发现有一段时间，主从复制的用户 状态是 waiting for net，通过其IP发现该服务器是1周前坏掉的一个slave服务器。

结论：

这台服务器上有4个实例，服务器启动后，mysql实例自动启动，开始向主库上拉binlog，每个主库每天的binlog量大概6G，4个实例1个星期大概160多G的binlog。

问题：

1、坏掉的服务器什么时候修好，什么时候开机，我们不可控，也不知道，也没有关注

2、这种案例其实是很简单、很典型的可能造成影响或故障的case，我们提前没有对这个现象有警觉，虽然知道这是个很容易出现的问题，但是在我们的case中，完全没有这方面的意识。因此导致该事件发生

3、对于网络流量这块，缺乏有效监控

解决方法：

1、所有服务器，取消开机自动启动mysql，服务器开机后，人为启动实例，停slave。（这样，如果服务器很多，可能过于麻烦，暂且先这样记录下来，总比造成影响强）

2、意识到该问题，将该问题纳入避免问题的常识库或工作手册中去。

赞 (0)

相关推荐

  • 故障的机器修好后重启，狂拉主库binlog，导致网络问题的解决方法

    问题简述: 一周前,有一台mysql服务器发生硬件故障,停机了.我们给专门负责这块的同学提交了申请,他们负责去报修这台服务器.今天这台服务器修好后,他们将其开机启动.服务器上的4个mysql实例在开机后自动启动,开始拉主库的binlog.由于这台服务器停机时间比较久,日志丢的比较多,狂拉主库的binlog,导致主库网络出现问题. 现象: 首先,我们完全没有意识到是因为一台坏掉的服务器重启拉主库binlog导致的,因为我们压根不知道 这台服务器什么情况,只知道1周前,我们报修了1台服务器.具体什么

  • SelecT下拉框选中和取值的解决方法

    Select下拉框的问题,想在选择一个选项后,前台显示做出变动,并且知道选择的是第几个选项. 这个很好解决: 如下: <div class="page-header"> <div class="form-horizontal"> <div class="control-label col-lg-0"> </div> <div class="col-lg-2"> <

  • Cygwin下安装vim后,vim中退格键无法正常使用的解决方法

    Cygwin下安装vim后,vim中退格键无法正常使用的解决方法

    问题描述: 在Cygwin中安装完vim后 进入vim,发现上下左右键和退格键都无法正常使用 问题分析: 首先考虑到的就是缺少vim的配置文件,首先查看/etc路径下是否有vim的配置文件 admin@ThinkPad /etc $ cd /etc admin@ThinkPad /etc $ ls -a|grep vimrc发现/etc下没有vim的全局配置文件,然后再查找当前用户的vim配置文件.vimrc admin@ThinkPad /etc $ cd ~ admin@ThinkPad ~

  • 使用layui监听器监听select下拉框,事件绑定不成功的解决方法

    如下所示: 使用layui监听select所选的value 需要注意的是:form.on必须写在layui.use(){ }中 且使用layui动态添加option时,必须要进行渲染(form.render()),否则选项追加不上 这样做完之后如果还不能获取select所选的value,那就需要检查一下select所在的form表单有没有写class属性,如果没有写class属性,就监听不到select 如果在完成后台操作之后跳转页面时不显示样式了,就检查一下请求路径resultmapping后

  • .net 弹出消息框后导致页面样式变乱解决方法

    点击按钮,执行提交操作,弹出消息框后,页面的样式变乱,解决方法: 首先,确定使用的css样式正确,页面中的宽高值保持规范统一: 然后,弹出框避免使用Response.Write(),如下所示 复制代码 代码如下: Response.Write("<script language=javascript>"); Response.Write("window.alert('"); Response.Write("计划添加失败!"); Res

  • 网站发布后Bootstrap框架引用woff字体无法正常显示的解决方法

    网站发布到IIS后,发现网站使用的Bootstrap框架所引用的woff字体无法正常显示.于是跟踪http请求,发现woff字体请求出现GET .woff 404 (Not Found)的问题,但是项目中woff字体的文件并未丢失.后经排查,原来是服务器上IIS没有添加woff字体的MIME类型,导致发送HTTP请求时,IIS无法处理和识别此类型的文件. 解决方法1:在Web.config配置文件中添加woff字体的MIME类型 解放方法2:在IIS中添加woff字体的MIME类型 woff字体

  • Django重装mysql后启动报错：No module named ‘MySQLdb’的解决方法

    Django重装mysql后启动报错：No module named ‘MySQLdb’的解决方法

    发现问题 最近由于卸载Mysql时将很多相关依赖包都卸载了,重装mysql后启动django出现如下错误: django.core.exceptions.ImproperlyConfigured:Error loading MySQLdb module: No module named 'MySQLdb". Did you install mysqlclient or MySQL-python? 由于开发时python版本为3.6.4,MySQL-python不支持python3,经过一番折腾安

  • 删除EM，强制结束EM进程后，启动数据库ORA-00119，ORA-00132报错的解决方法

    通过emca -deconfig dbcontrol db -repos drop命令删除EM资料库时,很长时间没有删除完成,期间数据库连接数暴涨,达到数据库最大连接数,结果前台及后台均连接不上数据库.强制杀死EM及应用相关进程,关闭数据库后,重启数据库时报:ORA-00119,ORA-00132错误. SQL> startup; ORA-00119: invalid specification for system parameter LOCAL_LISTENER ORA-00132: syn

  • 使用百度云加速后网站打开速度慢、广告不显示的解决方法

    使用百度云加速后网站打开速度慢、广告不显示的解决方法

    最近发现自己的博客打开很慢,通过ie浏览器打开速度还可以,使用任何第三方浏览器打开都超级慢,以为是HTML代码元素导致,一番比对后没有发现不是HTML5代码问题,但是在头部发现一串javascript代码很可疑, <script type="text/javascript"> //<![CDATA[ try{if (!window.CloudFlare) { var CloudFlare=[{verbose:0,p:1417916956,byc:0,owlid:&qu

  • C#动态代码生成控件后其他事件不能获取该控件值的解决方法

    C#动态代码生成控件后其他事件不能获取该控件值的解决方法

    前言 本文主要给大家介绍了关于C#动态代码生成控件后其他事件不能获取该控件值的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧 1.新建web项目,添加两个Button控件,结果如图. 2.Button按钮控件点击事件代码如下 protectedvoid Button1_Click(object sender, EventArgs e) { TextBox t = newTextBox(); t.ID = "test"; t.Text = "测试框&q

随机推荐