首页 科技正文

欧博最新网址:开会时CPU 飙升100%同事们都手忙脚乱记一次应急处置历程

admin 科技 2020-07-15 53 0

告警

正在开会,突然钉钉告警声响个一直,同时市场职员反馈客户在投诉系统登不进了,报504错误。查看钉钉上的告警信息,几台营业服务器节点所有报CPU跨越告警阈值,达100%。

赶快从会上下来,SSH登录服务器,使用 top 下令查看,几个Java历程CPU占用到达180%,190%,这几个Java历程对应统一个营业服务的几个Pod(或容器)。

定位

  1. 使用 docker stats 下令查看本节点容器资源使用情形,对占用CPU很高的容器使用 docker exec -it <容器ID>bash 进入。
  2. 在容器内部执行 top 下令查看,定位到占用CPU高的历程ID,使用 top -Hp <历程ID> 定位到占用CPU高的线程ID。
  3. 使用 jstack <历程ID> > jstack.txt 将历程的线程栈打印输出。
  4. 退出容器, 使用 docker cp <容器ID>:/usr/local/tomcat/jstack.txt ./ 下令将jstack文件复制到宿主机,便于查看。获取到jstack信息后,赶快重启服务让服务恢复可用。
    5.将2中占用CPU高的线程ID使用 pringf '%x\n' <线程ID> 下令将线程ID转换为十六进制形式。假设线程ID为133,则获得十六进制85。在jstack.txt文件中定位到 nid=0x85的位置,该位置即为占用CPU高线程的执行栈信息。如下图所示,

  1. 与同事确认,该处为使用一个框架的excel导出功效,而且,导出excel时没有分页,没有限制!!!查看SQL查询纪录,该导出功效一次导出50w条数据,而且每条数据都需要做转换盘算,更为糟糕的是,操作者由于导出时久久没有响应,于是延续点击,几分钟内发起了10多次的导出请求。。。于是,CPU被打满,服务溃逃了,我也溃逃了。。

解决

对于此类耗资源的操作,一定要做好响应的限制。好比可以限制请求量,控制最大分页巨细,同时可以限制接见频率,好比统一用户一分钟内最多请求多少次。

再发

服务重启后恢复。到了下昼,又一台服务器节点CPU告警,依前面步骤定位到占用CPU高的线程,如下

"GC task thread#0 (ParallelGC)" os_prio=0 tid=0x00007fa114020800 nid=0x10 runnable 

"GC task thread#1 (ParallelGC)" os_prio=0 tid=0x00007fa114022000 nid=0x11 runnable 

使用下令 jstat -gcutil <历程ID> 2000 10 查看GC情形,如图

发现Full GC次数到达1000多次,且还在不停增进,同时Eden区,Old区已经被占满(也可使用jmap -heap <历程ID>查看堆内存各区的占用情形),使用jmap将内存使用情形dump出来,

jmap -dump:format=b,file=./jmap.dump 13

退出容器,使用 docker cp <容器ID>:/usr/local/tomcat/jmap.dump ./ 将dump文件复制到宿主机目录,下载到内陆,使用 MemoryAnalyzer(下载地址:www.eclipse.org/mat/downloa… )打开,如图

若是dump文件比较大,需要增大MemoryAnalyzer.ini配置文件中的-Xmx值

发现占用内存最多的是char[], String工具,通过右键可以查看引用工具,但点开貌似也看不出所以然来,进入内存泄露讲述页面,如图

该页面统计了堆内存的占用情形,而且给出疑似泄露点,在上图中点开“see stacktrace”链接,进入线程栈页面,

似曾熟悉的画面,照样跟excel导出有关,数据太多,导致内存溢出。。。于是GC频仍,于是CPU爆了。泉源照样统一个。

总结

本文以处置一次线上服务CPU 100%的实战历程示例了在遇到Java服务造成服务器CPU消耗过高或内存溢出的一样平常处置方式,希望对人人定位线上类似问题提供参考。同时,开发实现功效时需要思量的更深远一些,不能停留在解决当前的场景,需要思量数据量不停增大时,你的实现是否还能适用。俗话说,低级程序员解决当前问题,中级程序员解决两年后的问题,高级程序员解决五年后的问题,_

作者:雨歌

,

欧博亚洲注册

欢迎进入欧博亚洲注册(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

版权声明

本文仅代表作者观点,
不代表本站dafa888的立场。
本文系作者授权发表,未经许可,不得转载。

评论