一、发现问题

下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。

二、排查思路

简单分析下可能出问题的地方，分为5个方向：

1. 系统本身代码问题
2. 内部下游系统的问题导致的雪崩效应
3. 上游系统调用量突增
4. http请求第三方的问题
5. 机器本身的问题

三、开始排查

1. 查看日志，没有发现集中的错误日志，初步排除代码逻辑处理错误。
2. 首先联系了内部下游系统观察了他们的监控，发现一起正常。可以排除下游系统故障对我们的影响。
3. 查看provider接口的调用量，对比7天没有突增，排除业务方调用量的问题。
4. 查看tcp监控，TCP状态正常，可以排除是http请求第三方超时带来的问题。
5. 查看机器监控，6台机器cpu都在上升，每个机器情况一样。排除机器故障问题。

即通过上述方法没有直接定位到问题。

四、解决方案

1.重启了6台中问题比较严重的5台机器，先恢复业务。保留一台现场，用来分析问题。

2.查看当前的tomcat线程pid

3.查看该pid下线程对应的系统占用情况。top -Hp 384