结论先行:OOM 排查的第一步不是抓 dump,而是读异常消息——JVM 会明确告诉你溢出发生在哪个区域。「Java heap space」看堆、「Metaspace」查动态类生成、「unable to create new native thread」查线程数和系统限制、「Direct buffer memory」查 NIO 直接内存。区域定位对了,方向就对了。

运行时数据区速览

线程私有:程序计数器、虚拟机栈(每帧对应一次方法调用,深度超限抛 StackOverflowError,常见于递归无出口)、本地方法栈。线程共享:堆(对象实例的家,GC 主战场)、方法区(JDK 8 起由元空间实现,存类元数据,使用本地内存而非堆内)、运行时常量池。此外还有不受堆参数管控的直接内存(NIO 的 DirectByteBuffer),可用 -XX:MaxDirectMemorySize 限制。容器化之后这张图还要叠加一层:进程全部内存(堆 + 元空间 + 线程栈 + 直接内存 + JIT 代码缓存)受 cgroup 限制约束,任何一块爆了都可能表现为容器被杀,而不是 Java 抛 OOM。各区域与参数对照:

区域线程私有/共享关键参数存放内容
虚拟机栈私有-Xss栈帧:局部变量表、操作数栈
堆共享-Xms / -Xmx对象实例、数组
元空间共享-XX:MaxMetaspaceSize类元数据、运行时常量池
直接内存共享-XX:MaxDirectMemorySizeNIO DirectByteBuffer
程序计数器私有无当前执行的字节码位置

两个常被问到的细节:字符串常量池在 JDK 7 就已从方法区挪到堆里,所以大量 intern 也会堆 OOM;JIT 编译后的代码放在独立的 Code Cache,同样有上限(ReservedCodeCacheSize),动态生成字节码多的应用要留意它满之后的性能退化。这两块都不在「堆」里,却都占进程的内存预算,容器限额核算时别漏掉。

Java heap space:从异常消息到 dump

最常见。第一步确认生产已开启 dump 配置:

# JVM 启动参数:OOM 时自动落 dump,路径提前建好并确认磁盘容量
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/data/dump/

事后也可用 jmap -dump:live,format=b,file=heap.hprof <pid> 抓取(注意 live 会先触发一次 Full GC,大堆服务慎用)。用 MAT 打开 hprof,按支配树(Dominator Tree)排序找到占内存最大的对象,再看 GC Roots 引用链,根因基本逃不出「某个静态集合缓存只增不减」「一次性加载全表数据」这类模式:

// 错误写法:无界缓存只进不出,堆迟早被吃穿
private static final Map<String, byte[]> CACHE = new ConcurrentHashMap<>();
public void onEvent(String key, byte[] data) {
    CACHE.put(key, data);   // 没有淘汰策略,key 空间一大就是 OOM
}

// 正确写法:缓存必须带容量上限与过期策略
private static final Cache<String, byte[]> CACHE = Caffeine.newBuilder()
        .maximumWeight(256 * 1024 * 1024)              // 按字节总量限流
        .weigher((String k, byte[] v) -> v.length)
        .expireAfterWrite(Duration.ofMinutes(30))
        .build();
public void onEvent(String key, byte[] data) {
    CACHE.put(key, data);   // 超限按策略淘汰,内存有上界
}

「一次性加载全表数据」是另一个高频根因:分页接口被上层一次性拉全量、导出功能不分批,本质都是「数据规模超出堆预算的假设被打破」。修复要么换带淘汰能力的缓存,要么改分批流式处理,要么给数据量设上限并监控。

dump 分析还有两个实操提醒:hprof 文件大小约等于堆的实际占用,抓取前确认磁盘;MAT 打开大 dump 先看「Leak Suspects」报告的预判,再进支配树核实,两个入口比在对象树里翻效率高得多。线上 dump 含敏感字段(用户数据),传递与留存要走数据安全流程,别随手扔到公共网盘。

GC overhead limit exceeded 则是堆泄漏的另一种表达:GC 花了绝大部分时间却几乎回收不出空间,JVM 提前抛错止损。处理路径与 heap space 完全一致,注意不要看到它就条件反射调大堆——泄漏场景下加大堆只是延后爆发。

Metaspace 与线程/直接内存类 OOM

Metaspace:典型元凶是动态生成类不释放——反射、CGLib 代理、Groovy 脚本、频繁重部署的应用。排查用 jstat -class <pid> 观察已加载类数是否持续增长,只涨不降基本可以断定类泄漏,再用 arthas 的 classloader/sc 命令定位是谁在生成类。unable to create new native thread:堆还有空间也照样抛,因为线程栈是本地内存。先看线程数是否失控(jstack <pid> 配合监控面板),再查容器的 ulimit 限制和 -Xss 单线程栈大小是否过大。Direct buffer memory:NIO 直接内存超限,排查代码里 allocateDirect 的使用与释放路径,必要时显式调大 MaxDirectMemorySize 或改用堆内缓冲。高频异常的对照速查:

异常消息溢出区域常见根因第一排查动作
Java heap space堆无界缓存、一次性加载全表MAT 支配树找最大对象
GC overhead limit exceeded堆堆接近耗尽,GC 空转同上,按堆泄漏处理
Metaspace元空间动态类生成不释放jstat -class 看类数趋势
unable to create new native thread本地内存/系统限制线程数失控、ulimit、Xss 过大数线程数、查容器限制
Direct buffer memory直接内存allocateDirect 未释放排查 NIO 缓冲的使用

类泄漏的验证手段可以用 arthas 的 classloader -l 看加载器实例数:同一个自定义加载器类出现大量实例且不回收,基本就是热部署或脚本引擎在反复 new 加载器、旧实例带着类元数据滞留。这与堆里「静态集合持有 Class 对象引用」是同一类根因的两种表现。

工具链与证据链

# 1. 观察堆与 GC 趋势:各区容量、GC 次数与耗时
jstat -gcutil <pid> 1000

# 2. 抓堆 dump(先确认磁盘空间够放 hprof)
jmap -dump:live,format=b,file=/data/dump/heap.hprof <pid>

# 3. arthas 现场排查:内存概况与类加载器视角
memory
classloader -l

排查 OOM 的证据链顺序固定:异常消息定区域 → 监控曲线定时间点 → dump 或命令定对象 → 代码引用链定根因。跳步(不看 dump 直接改参数)是排查失败的头号原因:加堆、换收集器这类操作只有建立在证据链上才有意义。

容器环境还有三条额外注意:dump 要落到挂载的持久卷,否则容器重建时文件消失;容器里执行 jmap 注意权限与临时目录容量;被 OOM killer 杀掉的进程拿不到任何 dump——这也是 cgroup 预算必须留余量的原因,留余量不是为了少 OOM,是为了 OOM 前监控能看到趋势。

还有一条证据链的纪律:所有临时性排查命令的输出(jstat、jmap、jstack)都落盘留档并带上时间戳,尤其 OOM 前后的关键窗口。OOM 的现场只有一次,dump 与命令输出丢了,后面全部靠猜。

留档之外,把每次 OOM 的结论沉淀成「根因-修复-验证」三段式记录,同类根因第二次出现时排查时间会大幅缩短——OOM 排查是典型的「经验复利」场景。

生产案例

某次大促备战,一个报表服务在预发压测中堆 OOM。dump 分析显示堆里堆了同一批订单数据的十几份副本,引用链全部指向一个「多线程并发查询订单、结果放进静态 Map 等待聚合」的导出任务:任务超时后被外层丢弃,内层查询线程不知情继续写入,Map 成了无主数据集,下一轮任务又推倒重来一遍。修复三步:任务取消时同步通知内部线程停止写入;静态 Map 改为任务作用域局部对象,随任务结束整体可回收;给单次导出的数据规模设硬上限,超限直接拒绝并提示用户分批。上线后同类 OOM 再未出现。这个案例的模式值得记住:OOM 的根因常常不是「缓存无界」这种教科书场景,而是「异步任务的生命周期与数据容器的作用域错位」,dump 的引用链是唯一能定位到这种错位的证据。复盘时顺带把「数据规模与容器作用域」写进了该服务的上线检查单。

检查清单

  • 生产必配 HeapDumpOnOutOfMemoryError,路径磁盘容量留足
  • 容器环境 Xmx 与 cgroup 限额匹配,为元空间、栈、直接内存留预算
  • 本地缓存一律有容量上限与过期策略
  • 全量数据场景改分批流式,不给「一次装下」的机会
  • 接入 GC 日志(-Xlog:gc*),盯回收频率与堆占用趋势
  • 排查顺序固定:异常消息 → 监控 → dump → 引用链
  • 异步任务取消时同步终止内部写入线程
  • Metaspace 告警按类数趋势判断,不只看水位