Skip to content

容器 Graceful Shutdown 与 Linux Signal

Published: at 05:33

人们在应用实例关闭或者销毁的时候总会留下一个 Graceful Shutdown 的操作,来避免中断当前实例正在处理的事务,这个特性对于处理机尤其重要。那么在迁移到容器化的平台上也会有同样的操作需要处理,但常常这个点会有一些坑。可能有人会说我的代码有做 Signal Notification,还会有什么坑呢?不错,物理机上通过 Signal 可以通知到进程做 Graceful Shutdown,但在容器内,稍有不慎,你的 Signal 就不一定会传到进程上,换个说话:你的进程最后是被 kill (SIGKILL)掉的。

本文将基于 Docker 进行分析这个问题中隐藏的坑。

停止容器过程

我们先来过一下容器停止(指如 docker stop)的主体流程

  1. dockerd 收到 stop 容器的请求
  2. 向容器 PID 1 发送 SIGTERM
  3. 等待 PID 1 退出(默认是 10 秒,可以通过参数指定)
  4. 等待超时,发送 SIGKILL 强制退出

流程看起来没毛病,那我们继续

Dockerfile

Docker 容器的基础是 Docker Image 由 Dockerfile 构建得到,那我们平时都怎么写?假设有一个处理机的代码(进程里也做了 Signal 监听处理 Graceful Shutdown),那么我们可能都是这么写的

FROM alpine

COPY my-processor /
CMD /my-processor

或者是

FROM alpine

COPY my-processor /
ENTRYPOINT /my-processor

亦或者,咱们的二进制启动的操作比较复杂涉及 ENV、配置文件等,那我们写一个脚本套起来可以吧?

FROM alpine

COPY run.sh /
COPY my-processor /
RUN /run.sh

# 或者 ENTRYPOINT /run.sh

然后 docker build -t xxxxx . 或者其他姿势,然后镜像就好了,开始丢上跑起来了,完美!

然后过了一段时间,发现总有任务没处理完,查来查去代码没问题啊。懵逼死循环 while true; do confused;done

启动命令中的坑

我们常常写 CMD /binary 或者 ENTRYPOINT /script.sh 之类的命名,但这两者最终在执行的时候前面会被套上 /bin/sh -c,然后我们的脚本或者代码就变成了非 PID 1 的进程。当有信号发过来的时候,就收不到了。自然也就不存在所谓的信号处理

推荐姿势

使用 JSON Array 的写法,写成 CMD ["/binary"] 或者 ENTRYPOINT ["/script.sh"]。这样启动后,我们期望的执行进程就会是 PID 1,信号发出的时候也就能够收到并处理掉了。

启动脚本坑

总是有比较复杂的代码需要比较复杂的启动过程或者参数,所以有人就会用脚本的方式来写这个启动步骤作为镜像的 CMD 或者 ENTRYPOINT。

大概是这么写的

#!/bin/sh

// blah blah blah....

/my-binary/agent -arg1 a -arg2 b -arg3 c

然后写下 Dockerfile 看了上面的坑,我知道这边要用 JSON Array 来写入口

FROM alpine

COPY my-binary /
ENTRYPOINT ["/my-binary/entrypoint.sh"]

一顿操作猛如虎,部署完跑了一段时间发现还是在 Graceful Shutdown 炸了。

是的,还是信号的锅。因为脚本启动的 /my-binary/agent 启动的进程 PID 并不是 1,我们发信号就是往 PID 1 也就是 /my-binary/entrypoint.sh 而这个脚本并没有对信号做任何处理,所以再次扑街。

推荐姿势

改改启动脚本,用 exec 来解决 PID 问题

#!/bin/sh

// blah blah blah....

exec /my-binary/agent -arg1 a -arg2 b -arg3 c

总结