一起探讨下，线上问题的处理思路。

问题合集

① 请求一个API接口返回json数据，慢请求

发送请求后，返回非常的慢。之前很快，突然变慢了。如何去分析，在公司经常出来问题，这个代码可能都不是你开发的。

测试工具模拟多个用户请求。jcmd查看哪些程序在运行PID。jstack PID对于慢查询，线程的快照中可能残留，线程执行的内存。执行的栈，调用链路，很久没有执行完，这个线程执行需要一定的时间，如果查看到多个代码段执行的频次比较高，这些代码就比较可疑。线程执行的时候有个时间跨度，这个时间跨度，也比较可疑，也就是执行一段代码的时间比较长。找到对应的package包，找到指定的行。感觉网络有问题，可以通过ping，或者curl请求下指定接口，看看反应时间。

有老铁活可以通过 JvisualVM 查看，但是生产环境一般都不让开发人员直接操作的，中间可能存在跳板机。可以通过windows的跳板机来查看JVM的情况。

② 死锁的情况

示例

// 死锁public class Cpu100Demo2 { public static String obj1 = "obj1"; public static String obj2 = "obj2"; public static void main(String[] args) { // 处理用户请求时，出现了死锁。用户无响应，多次重试，大量资源被占用（） Thread a = new Thread(new Lock1()); Thread b = new Thread(new Lock2()); a.start(); b.start(); }}class Lock1 implements Runnable { @Override public void run() { try { System.out.println("Lock1 running"); while (true) { synchronized (Cpu100Demo2.obj1) { System.out.println("Lock1 lock obj1"); Thread.sleep(3000);//获取obj1后先等一会儿，让Lock2有足够的时间锁住obj2 synchronized (Cpu100Demo2.obj2) { System.out.println("Lock1 lock obj2"); } } } } catch (Exception e) { e.printStackTrace(); } }}class Lock2 implements Runnable { @Override public void run() { try { System.out.println("Lock2 running"); while (true) { synchronized (Cpu100Demo2.obj2) { System.out.println("Lock2 lock obj2"); Thread.sleep(3000); synchronized (Cpu100Demo2.obj1) { System.out.println("Lock2 lock obj1"); } } } } catch (Exception e) { e.printStackTrace(); } }}

如何分析，比第一个例子相对简单，其实打印的tack已经展示了问题。

③ 多线程wait

示例

// 活锁public class Cpu100Demo3 { /** * 包子店 */ public static Object baozidian = null; /** * 会导致程序永久等待的wait/notify */ public void waitNotifyDeadLockTest() throws Exception { // 启动消费者线程 new Thread(() -> { if (baozidian == null) { // 如果没包子，则进入等待 try { Thread.sleep(5000L); } catch (InterruptedException e1) { e1.printStackTrace(); } synchronized (this) { try { System.out.println("1、进入等待，线程ID为： " + Thread.currentThread().getId()); this.wait(); // 多次查看 } catch (InterruptedException e) { e.printStackTrace(); } } } System.out.println("2、买到包子，回家"); }).start(); // 3秒之后，生产一个包子 Thread.sleep(3000L); baozidian = new Object(); synchronized (this) { this.notifyAll(); System.out.println("3、通知消费者"); } } public static void main(String[] args) throws Exception { new Cpu100Demo3().waitNotifyDeadLockTest(); }}

④ 线程过多

一个系统很多的功能，其实在运行的过程中，热点代码不是特别多的，线程过多的情况，一般是机器配置不行，解决不了大量的过来的请求导致的。
查看CPU情况，网络连接数情况，在上线之初，4核8G容纳500个并发没有问题。先看网络连接，这就是基本所有互联网大型公司都有网络监控这块，

netstat -nat | grep -i '8080' | wc -l

示例

import java.util.Random;// 线程过多导致的问题(jstack定位)public class Cpu100Demo4 { // 资源：每一个请求,业务执行需要占用多少资源，CPU * 1--> 增加资源。 // 线程池，控制线程数量，升级更高的配置 public static void main(String[] args) throws InterruptedException { for (int i = 0; i < 1000; i++) { new Thread(() -> { try { int x = 0; for (int j = 0; j < 10000; j++) { x = x + 1; long random = new Random().nextInt(100); Thread.sleep(random); // 模拟c处理耗时 } } catch (InterruptedException e) { e.printStackTrace(); } }).start(); long random = new Random().nextInt(500); Thread.sleep(random); // 模拟接口调用 } }}

⑤ CPU100%jcmd找到对应的进程PID。top -H -p PID 获取到占用CPU最大的那个线程ID。通过window计算器切换成开发者模式 将线程ID 转成16进制的数字 转换后就是 【0x数字】。jstack 进程PID > a.log。搜索a.log中的 nid=【0x数字】就可以定位到代码的位置了。

prinf "%x\n" 26144#6620

由于单个线程产生死循环的其实很少的，除非你使用了第三方的工具，一般使用了第三方工具的就会产生死循环，否则很难开发人员自杀式的写成直接死循环。掌握上边的使用技巧就可以了。

示例

import java.util.Random;// 个别线程占用资源过多public class Cpu100Demo5 { public static void main(String[] args) throws InterruptedException { new Thread(() -> { while (true) { new Random().nextInt(100); } }, "CPU-high").start(); for (int i = 0; i < 1000; i++) { new Thread(() -> { try { int x = 0; for (int j = 0; j < 10000; j++) { x = x + 1; long random = new Random().nextInt(100); Thread.sleep(random); // 模拟c处理耗时 } } catch (InterruptedException e) { e.printStackTrace(); } }).start(); long random = new Random().nextInt(500); Thread.sleep(random); // 模拟接口调用 } }}

⑥ CPU升高

CPU升高，任务处理不过来了，肯定会堆积，堆积的结果，内存也会升高，这是一个相辅相成的。不可能单独抛开一方面不去管，内存和CPU还是有关联关系的。

（二）线上处理问题

CPU内存网络系统日志 tail - f /var/log/messages 很多东西都可以变成系统日志反应出来。很多买人买的云服务器，内存比较低，可能java进程突然就消失了，其实就是linux本身有个机制，超过内存值的时候就会kill。系统内存块耗尽的时候干掉一些进程日志文件定时的清理：log4j file，一定要定义规则什么时候删除文件。这个东西真的很致命，一旦满了，程序很容易写满。

PS：一般的生产服务器CPU稳定在80-85以内，不会让资源利用率太高，也不会太低，资源利用率很高的话，留一些剩余的空间，证明你的机器买了那么多可能就是浪费，CPU和内存都是一样的。在高并发的情况，一般都是需要提前做优化，做测试的，往往有时候大家的一些编码习惯导致的出其不意的问题。网络突然慢了，请求慢了，都可以按照这个思路来定位问题。