php获取网页请求状态程序示例

2024-09-28 09:34:42

对于网页返回状态代码一般情况下我们都会去查自己网站状态码是不是200或错误页面是不是404代码，并且多数情况下我们的查看方法就是使用站长工具或ff浏览器等来查看，极少有人想到自己写一个查看状态代码的功能。

本文就此简述php获取网页请求状态程序示例如下：

方法一，使用 fsockopen
（不推荐使用curl_getinfo!）

代码如下:

function get_http_code($url="localhost", $port=80, $fsock_timeout=10){
set_time_limit(0);
ignore_user_abort(true);

// 记录开始时间
list($usec, $sec) = explode(" ", microtime(true));
$timer['start'] = (float)$usec + (float)$sec;

// 校验URL
    if(!preg_match("/^https?:＼/＼//i", $url)){
        $url = "http://".$url;
    }
    // 支持HTTPS
    if(preg_match("/^https:＼/＼//i", $url)){
        $port = 443;
    }

// 解析URL
    $urlinfo = parse_url($url);
    if(empty($urlinfo['path'])){
        $urlinfo['path'] = '/';
    }
    $host = $urlinfo['host'];
    $uri = $urlinfo['path'] . (empty($urlinfo['query'])?'':$urlinfo['query']);

// 通过fsock打开连接
    if(!$fp = fsockopen($host, $port, $errno, $error, $fsock_timeout)){
        list($usec, $sec) = explode(" ", microtime(true));
        $timer['end'] = (float)$usec + (float)$sec;
        $usetime = (float)$timer['end'] - (float)$timer['start'];

return array('code'=>-1, 'usetime'=>$usetime);
}

// 提交请求
    $status = socket_get_status($fp);
    $out = "GET {$uri} HTTP/1.1＼r＼n";
    $out .= "Host: {$host}＼r＼n";
    $out .= "Connection: Close＼r＼n＼r＼n";
    $write = fwrite($fp, $out);
    if(!$write){
        list($usec, $sec) = explode(" ", microtime(true));
        $timer['end'] = (float)$usec + (float)$sec;
        $usetime = (float)$timer['end'] - (float)$timer['start'];

return array('code'=>-2, 'usetime'=>$usetime);
}

$ret = fgets($fp, 1024);
    preg_match("/http＼/＼d＼.＼d＼s(＼d+)/i", $ret, $m);
    $code = $m[1];
    fclose($fp);

list($usec, $sec) = explode(" ", microtime(true));
$timer['end'] = (float)$usec + (float)$sec;
$usetime = (float)$timer['end'] - (float)$timer['start'];

return array('code'=>$code, 'usetime'=>$usetime);
}

file_get_contents 是 fsockopen 功能的简单打包，效率稍低些，但是抓取成功率很高，所以在 snoopy 出问题的时候我一般拿他来用。5.0.0 添加了对 context 的支持，有了context，他也可以发送 header 信息，自定义用户 agent, referer, cookies 都不在话下。5.1.0 添加了 offset 和 maxlen 参数，可以只读文件的一部分内容。

方法二，使用snoopy.class.php

Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。

代码如下:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.jb51.net/');
curl_setopt($ch, CURLOPT_RANGE, '0-500');
curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_close($ch);
echo $result;

$writefn = function($ch, $chunk) {
static $data='';
static $limit = 500; // 500 bytes, it's only a test
$len = strlen($data) + strlen($chunk);
if ($len >= $limit ) {
    $data .= substr($chunk, 0, $limit-strlen($data));
    echo strlen($data) , ' ', $data;
    return -1;
}
$data .= $chunk;
return strlen($chunk);
};
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.jb51.net/');
curl_setopt($ch, CURLOPT_RANGE, '0-500');
curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
curl_setopt($ch, CURLOPT_WRITEFUNCTION, $writefn);
$result = curl_exec($ch);
curl_close($ch);

一些常见的状态码为：
200 - 服务器成功返回网页
404 - 请求的网页不存在
503 - 服务器超时
301 - 页面重定向

php 自写函数代码获取关键字去超链接

1.根据权重获取关键字复制代码代码如下: function getkey($contents){ $rows = strip_tags($contents); $arr = array(' ',' ',"\s", "\r\n", "\n", "\r", "\t", ">", "“", "”"); $qc_rows = str_replac
php获取网页中图片、DIV内容的简单方法

1.获取网页中所有的图片: 复制代码代码如下: <?php //取得指定位址的內容,并储存至 $text $text=file_get_contents('http://www.jb51.net/'); //取得所有img标签,并储存至二维数组 $match 中 preg_match_all('/<img[^>]*>/i', $text, $match); //打印出match print_r($match); ?> 2.获取网页中的第一
PHP获取网页标题的3种实现方法代码实例

一.推荐方法 CURL获取 <?php$c = curl_init();$url = 'www.jb51.net';curl_setopt($c, CURLOPT_URL, $url);curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);$data = curl_exec($c);curl_close($c);$pos = strpos($data,'utf-8');if($pos===false){$data = iconv("gbk",&qu
php 正则表达式提取网页超级链接url的函数

复制代码代码如下: function match_links($document) { preg_match_all("'<\s*a\s.*?href\s*=\s*([\"\'])?(?(1)(.*?)\\1|([^\s\>]+))[^>]*>?(.*?)</a>'isx",$document,$links); while(list($key,$val) = each($links[2])) { if(!empty($val)) $mat
php获取网页上所有链接的方法

本文实例讲述了php取得网页上所有链接的方法.分享给大家供大家参考.具体实现方法如下: 复制代码代码如下: <?php function get_all_url($code){ preg_match_all('/<as+href=["|']?([^>"' ]+)["|']?s*[^>]*>([^>]+)</a>/i',$code,$arr); return array('name'=>$arr[2],'u
PHP获取短链接跳转后的真实地址和响应头信息的方法

获取到一个短连接,需要将短连接转换成真实的网址,通过查资料,发现 PHP 提供了一个函数 get_headers() ,可以完成这个任务,先把头部信息获取到,然后再分析跳转地址即可: 复制代码代码如下: $url = 'http://t.cn/h5mwx'; $headers = get_headers($url, TRUE); print_r($headers); //输出跳转到的网址 echo $headers['Location']; 附完整数组: 复制代码代码如下: Array (
php获取网页请求状态程序示例

对于网页返回状态代码一般情况下我们都会去查自己网站状态码是不是200或错误页面是不是404代码,并且多数情况下我们的查看方法就是使用站长工具或ff浏览器等来查看,极少有人想到自己写一个查看状态代码的功能. 本文就此简述php获取网页请求状态程序示例如下: 方法一,使用 fsockopen(不推荐使用curl_getinfo!) 复制代码代码如下: function get_http_code($url="localhost", $port=80, $fsock_timeout=10)
python中使用urllib2获取http请求状态码的代码例子

采集内容常需要得到网页返回的验证码做进一步处理下面代码是用python写的用来获取网页http状态码的脚本 #!/usr/bin/python # -*- coding: utf-8 -*- #encoding=utf-8 #Filename:states_code.py import urllib2 url = 'http://www.jb51.net/' response = None try: response = urllib2.urlopen(url,timeout=5) excep
php如何获取Http请求

php获取Http请求的方法 $_SERVER介绍 $_SERVER是一个包含了诸如头信息(header).路径(path).以及脚本位置(script locations)等等信息的数组. 获取Http请求的方法示例 $req_method = $_SERVER['REQUEST_METHOD']; echo $req_method; 实例补充: socket方式使用套接字建立连接,拼接 HTTP 报文发送数据进行 HTTP 请求. 一个 GET 方式的例子: <?php $fp = fso
使用C# Winform应用程序获取网页源文件的解决方法

在C# Winform 应用程序中,获取某网页的源文件,可以用以下方法: 首先引入名称空间 using System.IO; using System.Net; WebClient MyWebClient = new WebClient(); MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据 Byte[] pageData = MyWebClient.Do
Golang通过小程序获取微信openid的方法示例

为什么要获取小程序的 openid 在开发微信小程序的过程中,小程序可以通过微信官方提供的登录能力方便地获取微信提供的用户身份标识,快速建立小程序内的用户体系.那么这个用户身份标识就是 openid. 小程序获取 openid 的流程那么小程序获取 openid 的流程具体如下,这里我简化了一下,因为我们只需要获取到 openid 即可,具体可以参考这里我们需要在小程序中调用 wx.login() 获取 code 码,然后将这个 code 码发送给后端,后端带着这个 code 码和 app
微信小程序获取手机网络状态的方法【附源码下载】

本文实例讲述了微信小程序获取手机网络状态的方法.分享给大家供大家参考,具体如下: 1.效果展示 2.关键代码 index.wxml布局文件代码 <view>手机网络状态:{{netWorkType}}</view> index.js逻辑文件代码 Page({ data: { netWorkType:'' }, onLoad: function () { var that=this wx.getNetworkType({ success: function(res) { that.s
python获取http请求响应头headers中的数据的示例

例如我要测试一个创建网络的接口,需要先拿token值,而获取token的接口请求成功后,将token存在了响应头headers,postman调接口如下,现在想要通过python获取下图中 X-Subject-Token的值,供后续接口使用方法:仅需要python的requests库就可以实现示例: #!/usr/bin/env python # -*- coding: utf-8 -*- # @File : 1.py # @Author: ttwang # @Date : 2022/2/1
history保存列表页ajax请求的状态使用示例详解

目录问题优化前代码 history history.pushState() window.onpopstate 问题2 问题最近碰到两个问题: 从首页进入列表页之后,点击下一页的时候,使用ajax请求更新数据, 然后点击浏览器“后退”按钮就直接返回到首页,实际这里想要的效果是返回列表页上一页. 在列表页分页为2的页面进入详情页,然后点击“后退”按钮,返回的事列表页分页为1的页面.没法记住之前分页状态. 优化前代码代码如下,在页数变化的时候,去异步请求数据,渲染页面. const curr
JAVA获取HTTP请求头的方法示例

本文实例讲述了JAVA获取HTTP请求头的方法.分享给大家供大家参考,具体如下: 在利用Java网络编程时,利用Java获取HTTP Request 和 Response头字段: 可以利用Java语言根据需要添加自定义的HTTP头字段,而不必拘泥于标准HTTP定义的头字段. 代码如下: public class TestURL { public static void main(String[] args) { String destURLStr= "http://www.baidu.com&q
浅谈Node.js爬虫之网页请求模块

本文介绍了Node.js爬虫之网页请求模块,分享给大家,具体如下: 注:如您下载最新的nodegrass版本,由于部分方法已经更新,本文的例子已经不再适应,详细请查看开源地址中的例子. 一.为什么我要写这样一个模块? 源于笔者想使用Node.js写一个爬虫,虽然Node.js官方API提供的请求远程资源的方法已经非常简便,具体参考 http://nodejs.org/api/http.html 其中对于Http的请求提供了,http.get(options, callback)和http.req

php获取网页请求状态程序示例

相关推荐

随机推荐