0x01 前言

在过去的几天里,我有两台虚拟机不断被检测到IO超时。可是最近并没有对这两台虚拟机做出任何修改,服务器也没有增加虚拟机,肯定是哪里有异常导致的。

0x02 软件

在zabbix监控中,web和node2这两台虚拟机的磁盘IO被报告超时,故障时间长达4天。我的邮件也收了好几百封。因为zabbix每10分钟会复检一次,不能排除故障就发邮件。

邮件内容如下:

虚拟机web:

虚拟机node2:

web这台虚拟机运行着zabbix server和ELK套件,node2仅运行elasticsearch。

这几天我正对我的网站进行渗透测试,生成了将近5GB的日志。根据以往的情况,logstash和elasticsearch的效率很高,但也不至于使得iowait高达25%到50%。

我登录到服务器中查看filebeat的情况,发现filebeat早已将日志文件传输完毕。同时zabbix对数据库的读写也不至于产生那么高的IO。

以下是web这台虚拟机的IO情况:

以下是node2的IO情况:

从图中可以看到,读写速度并没有很高,这居然也能报iowait错误。我觉得这应该不是系统问题导致的,所以我转而从硬件入手。

0x03 硬件

我第一个想到的是硬盘坏了,导致阵列被降速。但是我发现服务器背后的状态灯和前部诊断显示器都是正常的蓝色,以下是idrac中关于磁盘的信息:

以下是阵列控制器的信息:

从上面的信息可以确认硬件一些正常。这时候我又检查服务器硬件日志,在 Lifecycle日志中注意到存储日志中有异常情况:

我注意到这个月的10号,服务器的阵列控制器启动了一个名为Patrol Read的任务,直至14号才结束。而zabbix的警告也是从10号到今天才结束。

0x04 Patrol Read

查询资料后发现,Patrol Read是Dell PowerEdge系列服务器阵列卡的一个功能,会定时巡检磁盘,检查数据。主要是为了校验阵列中的数据,以防出错。

但是在巡检的时候会导致磁盘读写性能下降,对服务器的正常运行影响非常大。我不想这功能自动运行,所以我在idrac中将它设为手动,当我有需要的时候手动运行即可。

进入idrac阵列控制器的属性配置界面:

将“巡检读取模式”选为手动,然后将“应用操作模式”按需选择以便新配置应用到系统中。因为我的服务器不能立即关机,只能等到下次重启时才能应用,因此我选择“下次重新引导时应用”。

点击应用后,这个任务会被添加到系统作业队列中:

点击作业队列即可查看现有的任务队列:

另外,为了日后在有需要的情况下可以手动启动巡检功能,我还需要将“手动巡检模式操作”设为“停止”而不是“禁用”。

0x05 结语

这一次的巡检已经结束,服务器的IO也已经恢复正常。以下是web虚拟机:

以下是node2虚拟机:

评论提交需几秒钟,请耐心等待 / comments submit takes few seconds, please be patient

请输入留言 / Please enter a message
请输入你的称呼 / Please enter your name

输入前先刷新 / refresh before entering