PHP使用pcntl_fork实现多进程下载图片的方法

本文实例讲述了PHP使用pcntl_fork实现多进程下载图片的方法。分享给大家供大家参考。具体分析如下:

PHP pcntl_fork — 在当前进程当前位置产生分支,子进程,译注:fork是创建了一个子进程,父进程和子进程 都从fork的位置开始向下继续执行,不同的是父进程执行过程中,得到的fork返回值为子进程号,而子进程得到的是0.

注意:PHP有个pcntl_fork的函数可以实现多进程,但要加载pcntl拓展,而且只有在linux下才能编译这个拓展.

1.首先在ubuntu下编译pcntl.so,我的ubuntu下找不到pcntl的包,于是创建一个文件夹下载了整个PHP包,在里面找到了pcntl包运行如下命令,代码如下:

代码如下:

# mkdir php
# cd php
# apt-get source php5
# cd php5-(WHATEVER_RELEASE)/ext/pcntl
# phpize
# ./configure (注一)
# make
# make install phpize 命令是用来准备 PHP 外挂模块的编译环境的

成功的安装将建立 extname.so 并放置于 PHP 的外挂模块目录中(预设存放于 /usr/lib/php/modules/ 内),需要调整 php.ini,加入 extension=extname.so 这一行之后才能使用此外挂模块.

例:

代码如下:

void pcntl_exec(string $path [,array $args [,array $envs ]])

pcntl_exec — 在当前进程空间执行指定程序,代码如下:

代码如下:

$cmds=array(
        array('/home/jerry/projects/www/test2.php'),
        array('/home/jerry/projects/www/test3.php')
);
 
foreach($cmds as $cmd){
        $pid=pcntl_fork();
        if($pid==-1){
        //进程创建失败
            echo '创建子进程失败时返回-1';
            exit(-1);
        }
        else if($pid){
        //父进程会得到子进程号,所以这里是父进程执行的逻辑
            pcntl_wait($status,WNOHANG);
        }
        else{
        //子进程处理逻辑
            sleep(5);
            pcntl_exec('/usr/bin/php',$cmd);
            exit(0);
        }
}

例,实例多图片同步下载,代码如下:

代码如下:

#!/usr/bin/php
<?php
// 需要抓取的网页地址
$url = 'http://www.jb51.net';
$content = file_get_contents($url);
preg_match_all('/<imgs+src="(.*?)"/', $content, $matches,PREG_SET_ORDER);
echo "已发现".count($matches)."张图片n";
 
list($sm, $ss) = explode(" ", microtime());
foreach ($matches as $k => $val)
{
 $pid[$k] = pcntl_fork();
 if(!$pid[$k])
 {
  download($url, $val);
  // 子进程要exit否则会进行递归多进程,父进程不要exit否则终止多进程
  exit(0);
 }
 
 if ($pid[$k])
 {
//    pcntl_waitpid($pid[$k], $status, WUNTRACED);
 }
 
}
echo "下载完成n";
 
list($em, $es) = explode(" ", microtime());
 
echo "用时:",($es+$em) - ($ss + $sm),"n";
/**
 * 抓取网页图片
 * 
 */
function download($url, $val)
{
 $pic_url = $val[1];
 if (strpos($val[1], '//') !== false)
 {
  ;
 }
 elseif (preg_match('@^(.*?)/@', $val[1], $inner_matches) == 0)
 {
  $pic_url = $url.$val[1];
 }
 elseif (preg_match('@[:.]@', $inner_matches[1], $tmp_matches) == 0)
 {
  $pic_url = $url.$val[1];
 }
 
 $pic = file_get_contents($pic_url);
 
 if ($pic === false)
 {
  return;
 }
 
 preg_match('@/([^/]+)$@', $pic_url, $tmp_matches);
 // 可使用assert处理异常
 $pic_file_name = $tmp_matches[1];
 $f = fopen("tmp/".$pic_file_name, "wb"); #
 fwrite($f, $pic);
 fclose($f);
}
 
/* End of file pcntl_fork.php */
?>

希望本文所述对大家的PHP程序设计有所帮助。

(0)

相关推荐

  • PHP多进程之pcntl_fork的实例详解

    PHP多进程编之pcntl_fork的实例详解 其实PHP是支持并发的,只是平时很少使用而已.平时使用最多的应该是使用PHP-FMP调度php进程了吧. 但是,PHP的使用并不局限于做Web,我们完全也可以使用PHP来进行系统工具类的编程,做监控或者是运维.在使用这些方向的时候,我们可以使用到PHP的更多特性,例如并发(多进程).socket编程等. 那么接下来就说说我遇到的PHP多进程的编程.这个多进程的使用是有一个背景的,下面模糊描述一下背景. 我需要一个监控系统,当然使用PHP语言,监控系

  • PHP使用pcntl_fork实现多进程下载图片的方法

    本文实例讲述了PHP使用pcntl_fork实现多进程下载图片的方法.分享给大家供大家参考.具体分析如下: PHP pcntl_fork - 在当前进程当前位置产生分支,子进程,译注:fork是创建了一个子进程,父进程和子进程 都从fork的位置开始向下继续执行,不同的是父进程执行过程中,得到的fork返回值为子进程号,而子进程得到的是0. 注意:PHP有个pcntl_fork的函数可以实现多进程,但要加载pcntl拓展,而且只有在linux下才能编译这个拓展. 1.首先在ubuntu下编译pc

  • python自动下载图片的方法示例

    近日闲来无事,总有一种无形的力量萦绕在朕身边,让朕精神涣散,昏昏欲睡. 可是,像朕这么有职业操守的社畜怎么能在上班期间睡瞌睡呢,我不禁陷入了沉思.... 突然旁边的IOS同事问:'嘿,兄弟,我发现一个网站的图片很有意思啊,能不能帮我保存下来提升我的开发灵感?' 作为一个坚强的社畜怎么能说自己不行呢,当时朕就不假思索的答应:'oh, It's simple. Wait for me a few minute.' 点开同事给的图片网站, 网站大概长这样: 在朕翻看了几十页之后,朕突然觉得有点上头.心

  • Python实现批量下载图片的方法

    本文实例讲述了Python实现批量下载图片的方法.分享给大家供大家参考.具体实现方法如下: #!/usr/bin/env python #-*-coding:utf-8-*-' #Filename:download_file.py import os,sys import re import urllib import urllib2 base_url = 'xxx' array_url = list() pic_url = list() inner_url = list() def get_a

  • Python实现从订阅源下载图片的方法

    本文实例讲述了Python实现从订阅源下载图片的方法.分享给大家供大家参考.具体如下: 这段代码是基于python 3.4实现的,和python2.X 比起来有了好多差别啊. 这是一个练习,数据源来自网易订阅.代码如下: 复制代码 代码如下: __author__ = 'Saint' import os import urllib.request import json from html.parser import HTMLParser # 从获取的网页内容筛选图片的内容 class MyHt

  • python下载图片实现方法(超简单)

    如下所示: import urllib.request response = urllib.request.urlopen('http://www.jb51.net/g/500/600') cat_img = response.read() with open('cat_500_600.jpg','wb') as f: f.write(cat_img) urlopen()括号里既可以是一个字符串也可以是一个request对象,当传入字符串的时候会转换成一个request对象,因此代码 respo

  • java+MongoDB实现存图片、下载图片的方法示例

    本文实例讲述了java+MongoDB实现存图片.下载图片的方法.分享给大家供大家参考,具体如下: 1.存图片 demo:将某个文件存到mongoDB,这个file可以通过前台参数传入,我这里直接将D://test.png存到mongoDB @RequestMapping("/addFile") @ResponseBody public String addFile(){ MongoClient client = new MongoClient("127.0.0.1"

  • Android实现多线程下载图片的方法

    很多时候我们需要在Android设备上下载远程服务器上的图片进行显示,今天整理出两种比较好的方法来实现远程图片的下载. 方法一.直接通过Android提供的Http类访问远程服务器,这里AndroidHttpClient是SDK 2.2中新出的方法,API Level为8,大家需要注意下,静态访问可以直接调用,如果SDK版本较低可以考虑Apache的Http库,当然HttpURLConnection 或URLConnection也可以. static Bitmap downloadBitmapB

  • 易语言下载图片的方法

    易语言编写程序的快速化,本土化,赢得来众多程序猿的广发青睐.随着互联网日新月异的发展,人们对程序或软件的功能要求也相对变的苛刻.浏览网页的时候,看到漂亮的图片就想下载保存下来,这个是无可厚非的.爱美之心,人皆有之.相信大家都会下载保存图片,这里,笔者要说的是,易语言如何下载图片,下面,MovieClip就带大家一起学习! 1.首先,打开"易语言"主程序,弹出"新建工程"对话框,选择"Windows窗口程序"然后点击"确定"按钮

  • Java如何从服务器中下载图片

    本文实例为大家分享了Java服务器中下载图片的方法,供大家参考,具体内容如下 import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URL; import java.net.URLConnection; import org.apache.commons.io.IOUtils; /** * 从服务器中下载图片 * * @param fileName

  • java多线程实现下载图片并压缩

    最近在做一个需求:从其他系统的ftp目录下载存储图片url的文件,然后读取文件中的url地址,根据地址下载图片后按天压缩成一个包,平均一个地址文件中包含4000个地址左右,也就是说一个文件扫描后需要下载4000个左右的图片,然后压缩,下面把我的实现方式和优化过程记录下来,如果大家有什么更好的方式可以分享. 使用框架:SpringMVC 定时任务实现:继承org.springframework.scheduling.quartz.QuartzJobBean; ftp环境搭建就不说了,在其他博客记录

随机推荐