博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用zt-exec库定时清理linux休眠进程
阅读量:7066 次
发布时间:2019-06-28

本文共 5648 字,大约阅读时间需要 18 分钟。

  hot3.png

在几个月前上线的一个采集项目,构架是基于java + selenium + chromedriver + chrome实现的采集。至于为哈不直接用jsoup或httpclient实现采集功能,是因为很多被采集页面都是通过js来渲染内容的,所以必须用webdriver+chrome来模拟真正的浏览器访问来采集。

每隔一段时间就会出采集失败问题,出现的时间没有规律,可能两天出现一次,可能一星期出现一次,可能一个月出现一次....

用linux top命令来查看服务器,会发现很多的chromedriver和chrome的进程

用ps命令查看服务器

ps -aux | grep chrome

存在状态为Sl和Z的休眠进程和僵尸进程,启动时间都不是当天,根据系统本身业务逻辑,进程不会存在运行那么长时间的情况。而java进程则全部都能正常关闭,但java进程启动的chromedriver和chrome进程不一定能同时关闭,目前出现这种问题的原因未找到。

最初想用命令把卡死的进程查出来批量杀掉

ps -A -o stat,ppid,pid,cmd | grep -e '^[Zz]' | awk '{print $2}' | xargs kill -9   //杀死僵尸进程

结果发现只能查杀Z状态的僵尸进程,Sl状态的进程,一部分是正常的,一部分是需要杀死的(启动时间为Nov07,Nov06的进程需要杀掉),至于哪些需要杀死,需要通过人工判断启动时间来确定是否需要杀掉进程。

之前一直忙时,都是先通过ps命令把chromedriver和chrome相关进程查询出来,然后通过人工判断进程是否属于休眠状态,再手工kill杀掉进程。

最近有空了,本着能程序解决,就绝不要人工维护,把之前的手工杀休眠进程操作程序化。一开始想直接通过java的Runtime.getRuntime().exec()代码调用linux命令操作的,不过在java常用类库中(),找到,可以简化命令行调用操作。

程序化的代替人工维护实现定时清理休眠进程代码如下:

import org.apache.log4j.Logger;import org.apache.log4j.RollingFileAppender;import org.zeroturnaround.exec.ProcessExecutor;import org.zeroturnaround.exec.stream.LogOutputStream;import java.util.ArrayList;import java.util.Enumeration;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;public class ProcessKill {    private static Logger log = Logger.getLogger(ProcessKill.class);    public ProcessKill(){    }    public void run(){        try{            List
> list = new ArrayList
>();// 先通过ps aux | grep chrome命令,获取所有包含chrome文本内容的进程 new ProcessExecutor().command("/bin/sh","-c","ps aux | grep chrome") .redirectOutput(new LogOutputStream() { protected void processLine(String line) { log.info("line========" + line); List
lines = split(line.trim());// 判断进程启动时间,确定是否为执行超时休眠的进程 String time = lines.get(8); String format = "[0-5][0-9]:[0-5][0-9]"; Pattern p = Pattern.compile(format); Matcher m = p.matcher(time); boolean result = m.find(); if(result == true) { log.info("time ========" + time + " " + result); } else{ log.info("time xxxxxxxx" + time + " " + result); list.add(lines); } } }) .execute(); log.info("list========size:" + list.size()); list.forEach(l->{ log.info("list line========" + l); }); for(int i = 0; i < list.size(); i++){ List
strs = list.get(i); try{ String pid = strs.get(1); String stat = strs.get(7); String time = strs.get(8); String cmd = strs.get(10); log.info("pid========" + pid + ", " + stat + ", " + time + ", " + cmd); // 通过命令“kill -9 pid”杀掉进程 String output = new ProcessExecutor().command("/bin/sh","-c","kill -9 " + pid) .readOutput(true).execute() .outputUTF8(); log.info("kill========" + pid + ", " + output); } catch(Exception ex){ ex.printStackTrace(); } } } catch(Exception e){ e.printStackTrace(); } } public List
split(String s){// ps aux | grep chrome 命令返回字段: USER,PID ,%CPU,%MEM,VSZ, RSS,TTY,STAT,START,TIME,COMMAND List
list = new ArrayList
(); int blankCount = 0; StringBuffer sff = new StringBuffer(); for(int i = 0; i < s.length(); i++){ char c = s.charAt(i); if(list.size() < 10){ if(c != ' '){ sff.append(c); blankCount = 0; } else if(c == ' '){ blankCount++; } if(blankCount == 1){ list.add(sff.toString()); sff = new StringBuffer(); } } else{ sff.append(c); } } if(sff.length() > 0){ list.add(sff.toString()); } return list; } public static void setLogFile(String name){ Logger rootLogger = Logger.getRootLogger(); Enumeration en = rootLogger.getAllAppenders(); while (en.hasMoreElements()){ Object obj = en.nextElement(); if(obj instanceof RollingFileAppender){ RollingFileAppender file = (RollingFileAppender)obj; file.setFile(name + ".log"); file.activateOptions(); } } } public static void main(String[] args){ setLogFile("log/" + ProcessKill.class.getSimpleName()); new ProcessKill().run(); }}

 

文末记录下ps和grep命令用法。

ps 显示瞬间进程的状态参数:-A :所有的进程均显示出来,与 -e 具有同样的效用;-a : 显示现行终端机下的所有进程,包括其他用户的进程;-u :以用户为主的进程状态 ;x :通常与 a 这个参数一起使用,可列出较完整信息。ps aux USER:该进程属于那个使用者账号。PID :该进程的进程ID号。%CPU:该进程使用掉的 CPU 资源百分比;%MEM:该进程所占用的物理内存百分比;VSZ :该进程使用掉的虚拟内存量 (Kbytes)RSS :该进程占用的固定的内存量 (Kbytes)TTY :该进程是在那个终端机上面运作,若与终端机无关,则显示。另外, tty1-tty6 是本机上面的登入者程序,若为 pts/0 等等的,则表示为由网络连接进主机的程序。STAT:该程序目前的状态,主要的状态有:	R :该程序目前正在运作,或者是可被运作;	S :该程序目前正在睡眠当中,但可被某些讯号(signal) 唤醒。	T :该程序目前正在侦测或者是停止了;	Z :该程序应该已经终止,但是其父程序却无法正常的终止他,造成 zombie (疆尸) 程序的状态START:该进程被触发启动的时间;TIME :该进程实际使用 CPU 运作的时间。COMMAND:该程序的实际指令。ps -ef |grep javaUID     :程序被该 UID 所拥有PID     :就是这个程序的 ID PPID    :则是其上级父程序的IDC       :CPU使用的资源百分比STIME   :系统启动时间TTY     :登入者的终端机位置TIME    :使用掉的CPU时间。CMD     :所下达的是什么指令

 

grep命令的常用格式为:grep  [选项]  ”模式“  [文件]常用选项:  -E :开启扩展(Extend)的正则表达式。  -i :忽略大小写(ignore case)。  -v :反过来(invert),只打印没有匹配的,而匹配的反而不打印。  -n :显示行号  -w :被匹配的文本只能是单词,而不能是单词中的某一部分,如文本中有liker,而我搜寻的只是like,就可以使用-w选项来避免匹配liker  -c :显示总共有多少行被匹配到了,而不是显示被匹配到的内容,注意如果同时使用-cv选项是显示有多少行没有被匹配到。  -o :只显示被模式匹配到的字符串。  --color :将匹配到的内容以颜色高亮显示。  -A  n:显示匹配到的字符串所在的行及其后n行,after  -B  n:显示匹配到的字符串所在的行及其前n行,before  -C  n:显示匹配到的字符串所在的行及其前后各n行,context

查看系统状态下的僵尸进程: 

ps -ef | grep defunct  后面尖括号里是defunct的都是僵尸进程。 ps aux | grep -w 'Z' 其中状态为Z的代表僵尸进程。

 

转载于:https://my.oschina.net/penngo/blog/2874158

你可能感兴趣的文章
手把手教你撸一个 Webpack Loader
查看>>
冒泡和快速排序
查看>>
每天阅读一个 npm 模块(6)- pify
查看>>
MySQL索引
查看>>
HeyUI组件库12月更新日志:Clipboard复制剪切板,Avatar头像
查看>>
十大监控工具,值得一试
查看>>
ES6 -> Javascript的类与继承在Babel的实现
查看>>
走进mysql基础
查看>>
使用Rollup打包JavaScript
查看>>
推荐系统与协同过滤、奇异值分解
查看>>
TypeScript 学习(三)
查看>>
小猪的Python学习之旅 —— 20.抓取Gank.io所有数据存储到MySQL中
查看>>
从小数学就不及格的我,竟然用极坐标系表白了我的女神!(附代码)
查看>>
iOS远程hot patch的优点和风险
查看>>
Android uncovers master-key 漏洞分析
查看>>
常用操作命令使用总结
查看>>
单元测试工具 TestNG 使用
查看>>
关于Java面试,你应该准备这些知识点
查看>>
某PA科技iOS开发工程师面试回忆
查看>>
从jvm角度看懂类初始化、方法重载、重写。
查看>>