supervisor 使用技巧


前言

以前后台经常这样启动一个程序

nohup your-program & > nohup.log &

发现这样这样非常不好易于管理, 在使用supervisor之后,发现有以下优点

  1. 可以将非后台运行程序后台运行
  2. 自动监控,重启进程
  3. 方便集成多个程序一起管理

介绍

Supervisor是一个客户端/服务器系统,它允许用户在类unix操作系统上控制多个进程

supervisor主要包含以下四个部分

  • supervisord:这个是supervisor服务的主要管理器,负责管理我们配置的子进程,包括重启崩溃或异常退出的子进程,同时也响应来自客户端的请求
  • supervisorctl:supervisord服务的客户端命令行。听过这个,我们可以获得由主进程控制的子进程的状态,停止和启动子进程,并获得主进程的运行列表。

  • Web Server:和supervisorctl功能娉美。这个是通过web界面查看和控制进程状态。
  • XML-RPC Interface:服务于web UI的同一个HTTP服务器提供一个XML-RPC接口,可以用来询问和控制管理程序及其运行的程序

运行环境

supervisor可以运行在大多数类UNIX系统,但是不能运行在任何windows系统,Supervisor运行在python3版本3.4或更高版本以及python2版本2.7上工作。

安装启动

  • 查看python 版本
python -V
Python 2.7.5
  • 如果python 版本低于2.6 的话
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y libffi-devel
wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz
tar xf Python-3.6.8.tar.xz
cd Python-3.6.8
./configure --prefix=/usr/local/python368
make && make install
echo 'export PATH=/usr/local/python368/bin:$PATH' >> /etc/profile
source /etc/profile
python3 -V
  • 使用 pip 来安装,前提要保证pip版本大于2.6
sudo pip install supervisor

# 可能你会收到类似的报错:Supervisor requires Python 2.4 or later but does not work on any version of Python 3.  You are using version 3.4.3 (default, Oct 28 2017, 20:59:04)
# 可以手动安装新版 Supervisor,它支持 Python3:

pip install git+https://github.com/Supervisor/supervisor

# 设置环境变量:
vim ~/.bash_profile

在后面补充: PATH=$PATH:$HOME/bin:/usr/local/python/bin

source ~/.bash_profile

配置

echo_supervisord_conf > /etc/supervisord.conf

打开配置文件:

vim /etc/supervisord.conf

[unix_http_server]
file=/tmp/supervisor.sock   ; UNIX socket 文件,supervisorctl 会使用
;chmod=0700                 ; socket 文件的 mode,默认是 0700
;chown=nobody:nogroup       ; socket 文件的 owner,格式: uid:gid
;username=user              ; default is no username (open server)
;password=123               ; default is no password (open server)

;[inet_http_server]         ; HTTP 服务器,提供 web 管理界面
;port=127.0.0.1:9001        ; Web 管理后台运行的 IP 和端口,如果开放到公网,需要注意安全性
;username=user              ; 登录管理后台的用户名
;password=123               ; 登录管理后台的密码

[supervisord]
logfile=/tmp/supervisord.log ; 日志文件,默认是 $CWD/supervisord.log
logfile_maxbytes=50MB        ; 日志文件大小,超出会 rotate,默认 50MB
logfile_backups=10           ; 日志文件保留备份数量默认 10
loglevel=info                ; 日志级别,默认 info,其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ; pid 文件
nodaemon=false               ; 是否在前台启动,默认是 false,即以 daemon 的方式启动
minfds=1024                  ; 可以打开的文件描述符的最小值,默认 1024
minprocs=200                 ; 可以打开的进程数的最小值,默认 200

; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; 通过 UNIX socket 连接 supervisord,路径与 unix_http_server 部分的 file 一致
;serverurl=http://127.0.0.1:9001 ; 通过 HTTP 的方式连接 supervisord

;包含其他的配置文件
[include]
files = relative/directory/*.ini    ; 可以是 *.conf 或 *.ini

配置管理的进程

vim supervisord.conf

# 找到最后一行,并取消注释和添加:
[include]
files = /etc/supervisor/*.conf

$ mkdir /etc/supervisor
$ cd /etc/suervisor
$ vim Djnago.conf

# 填入以下内容:

[program:Djagno]
command=/root/.virtualenvs/xxx/bin/gunicorn xxx.wsgi:application -b 0.0.0.0:8004  ; 被监控的进程路径  ; 被监控的进程路径
directory=/mnt/hao/server/               ; 执行前要不要先cd到目录$
autostart=true                ; 随着supervisord的启动而启动
autorestart=true              ; 自动重启。。当然要选上了
startretries=10               ; 启动失败时的最多重试次数
exitcodes=0                   ; 正常退出代码
stopsignal=KILL               ; 用来杀死进程的信号
stopwaitsecs=10               ; 发送SIGKILL前的等待时间
redirect_stderr=true          ; 重定向stderr到stdout
stdout_logfile=../../log/django/django.log                      ;输出日志
stderr_logfile=../../log/django/django.log                       ; 错误日志
; 默认为 false,如果设置为 true,当进程收到 stop 信号时,会自动将该信号发给该进$
stopasgroup=true             ; send stop signal to the UNIX process
; 默认为 false,如果设置为 true,当进程收到 kill 信号时,会自动将该信号发给该进$
killasgroup=true             ; SIGKILL the UNIX process group (def false)

这里说明下: environment没啥用。command 里面写好环境比较好

启动 Supervisor

Supervisor 有两个主要的组成部分:

  1. supervisord,运行 Supervisor 时会启动一个进程 supervisord,它负责启动所管理的进程,并将所管理的进程作为自己的子进程来启动,而且可以在所管理的进程出现崩溃时自动重启
  2. supervisorctl,是命令行管理工具,可以用来执行 stop、start、restart 等命令,来对这些子进程进行管理。
supervisord -c /etc/supervisord.conf                                   # 固定配置文件夹启动
supervisorctl -c /etc/supervisord.conf status                     # 查看状态
  • 命令参数意义可参考上面 supervisor主要包含以下四个部分

常见问题

  1. 在启动 supervisorctl 的时候可能会接受到 refuse connection 的报错,解决办法:
# 找到 supervisor.sock 的地址
$ find / -name supervisor.sock

# unlink 掉它,*** 换成真实地址
$ unlink /***/supervisor.sock`
  1. 还遇到了另外一个问题,在 supervisor 运行一段时间后,web 端会访问不了,在后台企图通过 supervisorctl -c /etc/supervisord.conf 登录,发现还是报 refuse connection 的错误,还有
    Error: Another program is already listening on a port that one of our HTTP servers is configured to use. Shut this program down first before starting supervisord.
    尝试将[supervisorctl] 里面的属性 serverurl 修改成 unix 前缀,如 unix:///tmp/supervisord.sock,过一段时间再做观察。

参考链接

  1. https://my.oschina.net/goskyblue/blog/380828
  2. https://zhuanlan.zhihu.com/p/36459081

文章作者: jusk9527
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 jusk9527 !
  目录