Runtime.getRuntime().exec 路径包含空格的解决

目录
  • Runtime.getRuntime().exec 路径包含空格
    • 1. 现象
    • 2. 原因
    • 解决办法
  • Runtime.getRuntime().exec()产生阻塞的2个陷阱
    • 背景
    • 关于Runtime.getRuntime().exe()
    • 阻塞陷阱之Runtime.getRuntime().exe()的返回值Process
    • 阻塞陷阱之子进程阻塞

Runtime.getRuntime().exec 路径包含空格

1. 现象

java代码通过Runtime.getRuntime().exec删除linux上的目录,如果路径信息不包含空格没有问题,但是有了空格,虽没有报错,但执行没有效果,文件夹删不掉。

2. 原因

Runtime.getRuntime().exec语法不支持空白符和管道符"|"

不支持空白符和管道符"|"的例子:

//包含空格
String cmd = "rm -fr test 1";
// 包含管道符
String cmd2 = "netstat -antup | grep ftp";
Process ps = Runtime.getRuntime().exec(cmd);
ps.waitFor();

解决办法

如果直接在命令行执行的话,可以通过给完整的字符带上单引号或双引号,java代码用法不适用。

[root@EMS3 ~]# rm -rf "/root/test 1"

使用重载函数即可:

public Process exec(String cmdarray[])
String cmd = "rm -fr test 1";
// 或
String cmd2 = "netstat -antup | grep ftp";
Process ps = Runtime.getRuntime().exec(new String[]{"/bin/sh", "-c", cmd});
ps.waitFor();
...

其中-c表示cmd是一条命令

/bin/sh -c注意事项

由于增加了-c 参数,并指定shell类型,因此需要确认shell的类型。因此根据实际环境的shell类型。

/bin/sh是什么?

shell编程是以"#“为注释,但对”#!/bin/sh"却不是。"#!/bin/sh"是对shell的声明,说明你所用的是那种类型的shell及其路径所在(#! /bin/sh 是指此脚本使用/bin/sh来解释执行,#!是特殊的表示符,其后面跟的是解释此脚本的shell的路径)。如果没有声明,则脚本将在默认的shell中执行,默认shell是由用户所在的系统定义为执行shell脚本的shell。

如果脚本被编写为在Kornshell ksh中运行,而默认运行shell脚本的为C shell csh,则脚本在执行过程中很可能失败。所以建议大家就把"#!/bin/sh"当成C 语言的main函数一样,写shell必须有,以使shell程序更严密。

Runtime.getRuntime().exec()产生阻塞的2个陷阱

背景

相信做java服务端开发的童鞋,经常会遇到Java应用调用外部命令启动一些新进程来执行一些操作的场景,这时候就会使用到Runtime.getRuntime().exec(),然而这个方法如果不谨慎很容易掉进陷阱。

我们的一个PDF转码服务就踩到了这个坑掉进陷阱,这个转码服务主要是对pdf进行加密和转码成swf。这个服务上线后大部分时间都是稳定运行的,但是隔一段时间就会死掉,然后人肉手动重启一下服务就复活了。看了日志,有时候有一堆关于pdf转码过程的错误日志,有时候死掉的时候什么日志也没输出。这时候猜测可能是pdf转码异常导致应用挂掉的{因为这个转码服务一直是单线程在工作}。更深的原因大家也空没去找。反正运营反馈上传的pdf一直处在转码中很久了,一两天了还在转码中,于是开发就手动重启下服务。是的你没看过,就是一两天才发现,我们的业务监控没作上去,因为相对迭代任务,这都算不紧急的事情了。

后来运营反馈pdf问题次数增多了,于是写了个脚本,定时去检查日志最后的更新时间,发现日志超过一个小时没更新就重启应用,重启脚本没问题,问题是应用重启后,日志中出现了一堆的找不到要执行的命令。目前也不知道为什么通过脚本去重启动应用后,应用找不到要执行的命令。有知道的可以告知下。

终于某一天,应用又死掉了,看了下数据库堆积了将近2000个待转的文件。看了下应用日志打了exe()后就再也没内容了,于是下狠心花了半天时间来研究下Runtime.getRuntime().exe()找了下原因,最终解决了这个问题。

关于Runtime.getRuntime().exe()

根据jdk官方文档描述,每个Java应用都存在一个而Runtime的单例实例。这个类Runtime类封装了应用运行时的环境,通过这个类我们的java应用可以与其运行环境相连接。

1、java应用无法创建自己的Runtime实例,只能通过Runtime.getRuntime()来取得当前JVM的运行时环境,这也是在Java中唯一一个得到运行时环境的方法。一旦得到了一个当前的Runtime对象的引用,就可以调用Runtime对象的方法来控制Java虚拟机的状态和行为。

2、Runtime中的exit方法是退出当前JVM的方法,System类中的exit实际上也是通过调用Runtime.exit()来退出JVM的,这里说明一下Java对Runtime返回值的一般规则(后边也提到了),0代表正常退出,非0代表异常中止。

3、Runtime具有的详细方法请参考官方api,http://docs.oracle.com/javase/8/docs/api/

阻塞陷阱之Runtime.getRuntime().exe()的返回值Process

应用在调用Runtime.getRuntime().exec()这个方法会创建一个本机进程并返回Process子类的一个实例。该实例可用来控制该进程并获得其相关信息。Process类提供了执行从进程输入、执行输出到进程、等待进程完成、检查进程的退出状态以及销毁(杀掉)进程的方法。

官方文档解释了创建进程的方法可能无法针对某些本机平台上的特定进程很好地工作,比如,本机窗口进程,守护进程,Microsoft Windows 上的 Win16/DOS 进程,或者 shell脚本。创建的子进程没有自己的终端或控制台。它的所有标准 io(即 stdin、stdout 和 stderr)操作都将通过三个管道重定向到父进程(也就是调用者java应用)。三个管道用于处理标准输入流,标准输出流,标准错误流。子进程在执行过程中,会不断的向JVM写入标准输出和标准错误输出。java应用可以通过Process 提供的getOutputStream()、getInputStream() 和 getErrorStream()来获得子进程输入输出信息。因为有些本机平台仅针对标准输入和输出流提供有限的缓冲区大小,当标准输出或者标准错误输出写满缓存池时,程序无法继续写入,子进程无法正常退出。读写子进程的输出流或输入流迅速出现失败,则可能导致子进程阻塞,甚至产生死锁。

当调用Runtime.getRuntime().exe()后返回的Process对象除了可以多的三种输入输出流外,还有两个常用的方法:

1、非阻塞方法exitValue()获得子进程退出的状态值(0,正常退出,非0异常退出),需要注意的是调用这个方法程序会立即得到结果,如果子进程没有执行完,调用这个方法会抛出IllegalThreadStateException,表示此 Process 对象表示的子进程尚未终止。

2、阻塞方法 waitFor()导致当前线程等待,直到子进程结束并返回退出状态。如果已终止该子进程,此方法立即返回,如果没有终止该子进程,调用的线程将被阻塞,直到退出子进程。

先看看我们转码服务这里的历史代码:

这段代码,用同步的方法去读取标准错误输出流即相当于清空了错误输出流缓冲区,然而正常的标准输出流并没有清空,按照上面的原理解释,阻塞的原因可能就产生在这里。当阻塞产生的时候jstack了一下线程栈信息如下图所示。确实线程锁在了读取缓冲流上面了。

这种情况网上通用的解决方法就是异步开两个线程去读取正常的输出和错误输出流信息,清空缓冲区,参考了大家的解决方法,下图是修改后的方案,ProcessClearStream是一个异步线程,主要做的是将标准inputSream读取完毕。

阻塞陷阱之子进程阻塞

通过上面的代码优化后还是发现有转码阻塞的现象出现,而且发现每次阻塞都出现在固定的几个pdf上,测试发现重启应用后主要转到那几个特定的pdf时候,转码服务必挂无疑(通常一个pdf转码只需要几十秒,而这个阻塞持续几个小时,不人为干预它就可能无限阻塞下去)。所以重启应用也不管用了,只能跳过这几个pdf应用才行,于是在测试环境测试这几个pdf,每次阻塞的时候再jstack发现应用阻塞在proc.waitFor(),再也没其他错误信息了。查看了官方api,Process的waitFor方法本身会阻塞直到子进程正常或异常退出,到这里,应该可以推断是子进程无限阻塞下去了,导致waitFor一直阻塞中。为了验证这个推断,直接在终端kill掉这个子进程,然后再查看日志,发现转码服务又继续工作了。

有了上面的结论,一个简单的思路也就有了,我需要检测子进程状态,如果发现子进程有阻塞状态就kill掉(因为这个转码脚本比较老,要拿他的堆栈信息比较麻烦,所以kill掉是最简单直接暴力效率高的方法)。将这个想法和同事聊了下,万能的Java肯定可以干这事,大概思路就启动个线程去监控process的waitFor的阻塞时间,超过设置时间,就干掉了子进程,这不是Java线程池ExecutorService类配合Future接口来干的事情么。同事按照这个思路网上找了下现成的代码,于是照着这个这个方法抄袭了一下,下面贴下关键的代码:

当waitFor超时线程中断的的时候再调用process的destroy()销毁子进程。这个方案上线后,截至目前一周多时间转码服务稳定运行,没在出现以前的服务死掉的情况。

我们业务中当检测到超时退出后就重置任务状态为失败(算是降级吧),导致这种pdf转码子进程阻塞的一般是pdf本身不太标准,而这个转码工具不能很好的兼容处理这些pdf,后面把这些有问题的pdf重新转成标准pdf上传测试即可以正常转码。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。

(0)

相关推荐

  • Java基于Runtime调用外部程序出现阻塞的解决方法

    本文实例讲述了Java基于Runtime调用外部程序出现阻塞的解决方法, 是一个很实用的技巧.分享给大家供大家参考.具体分析如下: 有时候在java代码中会调用一些外部程序,比如SwfTools来转换swf.ffmpeg来转换视频等.如果你的代码这样写:Runtime.getRuntime().exec(command),会发现程序一下就执行完毕,而在命令行里要执行一会,是因为java没有等待外部程序的执行完毕,此时就需要使用阻塞,来等待外部程序执行结果: InputStream stderr

  • Java Process与Runtime()的使用及调用cmd命令阻塞的解决方案

    Java Process与Runtime()使用 java调用cmd执行bat文件有时会出现卡死的现象,当时感觉很迷惑,后来查资料,本来一般都是这样来调用程序并获取进程的输出流的,但是我在windows上执行这样的调用的时候却总是在while那里被堵塞了,结果造成ffmpeg程序在执行了一会后不再执行,这里从官方的参考文档中我们可以看到这是由于缓冲区的问题,由于java进程没有清空ffmpeg程序写到缓冲区的内容,结果导致ffmpeg程序一直在等待. 在网上也查找了很多这样的问题,不过说的都是使

  • Java常用类库StringBuffer,Runtime,日期操作类等类库总结

    1):StringBuffer类: String.StringBuffer.StringBuilder的区别 1.String一旦声明,不可改变,StringBuffer与StringBuilder声明的内容可以改变 2.StringBuffer类中提供的方法都是同步方法,属于安全的线程操作,而StringBuilder类中大的方法都是属于异步方法,属于非线程安全的操作. 2):Runtime类 Runtime类是Java中与运行时环境有关的操作类,利用此类可以取得系统的内存信息,也可以利用此类

  • java.lang.Runtime.exec() Payload知识点详解

    有时,通过Runtime.getRuntime().exec()执行命令的有效负载有时会失败.使用Web Shell,反序列化利用或通过其他媒介时,可能会发生这种情况. 有时这是因为重定向和管道字符的使用在启动过程的上下文中没有意义.例如,在shell中执行ls> dir_listing会将当前目录的列表输出到名为dir_listing的文件中.但是在exec()函数的上下文中,该命令将被解释为获取>和dir_listing目录的列表. 有时,StringTokenizer类会破坏其中包含空格

  • Runtime.getRuntime().exec 路径包含空格的解决

    目录 Runtime.getRuntime().exec 路径包含空格 1. 现象 2. 原因 解决办法 Runtime.getRuntime().exec()产生阻塞的2个陷阱 背景 关于Runtime.getRuntime().exe() 阻塞陷阱之Runtime.getRuntime().exe()的返回值Process 阻塞陷阱之子进程阻塞 Runtime.getRuntime().exec 路径包含空格 1. 现象 java代码通过Runtime.getRuntime().exec删除

  • 解决python3 网络请求路径包含中文的问题

    在爬一个网站的时候,端点包含中文浏览器是可以自动解决这个转换的,在代码中就需要处理一下了. 请求过程的异常如下: self._output(request.encode('ascii')) UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-11: ordinal not in range(128) 解决如下: import urllib.parse reqStr = '你好' encodeStr =

  • python 解决Windows平台上路径有空格的问题

    最近在采集windows上中间件的时候,遇到了文件路径有空格的问题. 例如:Aapche的安装路径为D:\Program Files\Apache Software Foundation\Apache2.2. 采集apache要读取配置文件D:\Program Files\Apache Software Foundation\Apache2.2\conf\httpd.conf 执行一些D:\Program Files\Apache Software Foundation\Apache2.2\bi

  • Shell中处理包含空格的文件名实例

    今天在处理文件时遇到个问题,当文件名包含空格时,for循环就出问题了. 例如,我在当前文件夹下建立3个文件名包含空格的文件: 复制代码 代码如下: keakons-MacBook-Pro:test keakon$ touch "test 1"keakons-MacBook-Pro:test keakon$ touch "test 2"keakons-MacBook-Pro:test keakon$ touch "test 3"keakons-Ma

  • Linux查找处理文件名后包含空格的文件(两种方法)

    当Linux下文件名中出现空格这类特殊情况话,如何查找或确认那些文件名后有空格呢? 又怎么批量替换处理掉这些空格呢? 方法1: 输入文件名后使用Tab键,如果使用Tab键后面出现\ \ \这样的可见字符,那么该文件名包含空格.当然,这个方法弊端很大,例如,效率低下,不能批量查找,只有当你怀疑某个文件名后有空格,这个方法才比较凑效.另外,不能查找文件中间包含空格的文件名.如下测试所示: [root@DB-Server kerry]# cat >"test.txt " it is o

  • pyinstaller打包可执行文件,存放路径包含中文无法运行的解决方案

    一.实验环境 1.Windows7x64_SP1 2.anaconda2.5.0 + python2.7(anaconda集成,不需单独安装) 3.pyinstaller3.0 二.问题描述 1.使用如上环境,pyinstaller打包生成的exe文件,存放在本地,如果路径中包含中文,程序无法运行:exe程序如果使用中文命名,程序同样无法运行. 三.解决方式 1.查看pyinstaller网站 https://pypi.org/project/PyInstaller/ 2.有如下描述 3.更换实

  • IOS 中UITextField和UITextView中字符串为空和空格的解决办法

    IOS 中UITextField和UITextView中字符串为空和空格的解决办法 在用UITextField,UITextView声明的属性写一些页面的时候,经常会出现这样的小bug,就是给空值或空格也能进行传值或存储,这里给一些解决的小方法: eg: 这里声明了一个属性,就以此为例来说 @property (nonatomic, strong) UITextField *titlefield; 为空时: if(_titlefield.text == nil){ //执行一些警告操作 } if

  • efang设置出现读取Serv-U路径失败330101的解决方法

    读取Serv-U路径失败330101的解决方法 我安装的易方怎么不能设置Serv-U啊? 点设置就出现 读取Serv-U路径失败330101. 谁知道这是怎么会事啊??我安装了Serv-U的...希望知道的告诉我一下 解决方法: 把serv-u的用户数据 存储到注册表里去,不是放在ini文件里

  • php将textarea数据提交到mysql出现很多空格的解决方法

    本文实例讲述了php将textarea数据提交到mysql出现很多空格的解决方法.分享给大家供大家参考.具体分析如下: 有一些朋友可能会发现我们在html提交给php处理保存数据到mysql中之后会发现我们再次从mysql读出数据时会有很多的空格了,那么我们如果直接在mysql中查看又没有空间,这是什么问题要如何处理呢. textarea中总是有很多空格问题解决 问题描述: 在php读取mysql数据到textarea中开头可结尾总有很多空格,在数据表中查看数据是没有空格的. 问题原因: 内容应

  • JS不用正则验证输入的字符串是否为空(包含空格)的实现代码

    在项目中需要验证输入的字符串是否为空,包括空格,不太喜欢使用正则,所以就想到了js的indexOf函数,indexOf() 方法可返回某个指定的字符串值在字符串中首次出现的位置,如果要检索的字符串值没有出现,则该方法返回 -1. 语法:stringObject.indexOf(searchvalue,fromindex),searchvalue必需,fromindex:可选参数,在字符串中开始检索的位置.它的合法取值是 0 到 stringObject.length - 1.如省略该参数,则将从

随机推荐