python 2.7 检测一个网页是否能正常访问的方法
如下所示:
#!/bin/env python #coding:utf-8 import requests import sys url = "https://mp.csdn.net/" r = requests.get(url, timeout=5) code = r.status_code if code == 200: print "OK 网站访问正常" sys.exit(0) else: print "Error 不能访问!" sys.exit(2)
以上这篇python 2.7 检测一个网页是否能正常访问的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。
相关推荐
-
利用Pyhton中的requests包进行网页访问测试的方法
为了测试一组网页是否能够访问,采取python中的requests包进行批量的访问测试,并输出访问结果. 一.requests包的安装 打开命令行(win+r输入cmd启动); 打开pythion安装目录下的Python\Python36-32\Scripts,将其中的pip文件拖动到命令行中; 在之后输入install requests命令; 二.访问方法 import requests fin = open('urls.txt', 'r') fout = open('result.txt',
-
处理Python中的URLError异常的方法
1.URLError 首先解释下URLError可能产生的原因: 网络无连接,即本机无法上网 连接不到特定的服务器 服务器不存在 在代码中,我们需要用try-except语句来包围并捕获相应的异常.下面是一个例子,先感受下它的风骚 import urllib2 requset = urllib2.Request('http://www.xxxxx.com') try: urllib2.urlopen(requset) except urllib2.URLError, e: print e.rea
-
python实现用于测试网站访问速率的方法
这是python编写的用于测试网站访问速率的代码片段,可以输出打开某url的时间,访问100次的平均时间,最大时间和最小时间等等 import urllib2 from datetime import * import time def Process(url,n): minSpan = 10.0 maxSpan = 0.0 sumSpan= 0.0 over1s = 0 for i in range(n): startTime = datetime.now() try: res = urlli
-
Python检测网站链接是否已存在
Python是一种解释型.面向对象.动态数据类型的高级程序设计语言. Python由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年. 像Perl语言一样, Python 源代码同样遵循 GPL(GNU General Public License)协议. 早就听说Python语言操作简单,果然名不虚传,短短几句,就实现了基本的功能. 要检测目标网站上是否存在指定的URL,其实过程很简单: 1.获得指定网站网页的HTML代码 2.在HTML代码中查找指定的UR
-
python使用正则表达式提取网页URL的方法
本文实例讲述了python使用正则表达式提取网页URL的方法.分享给大家供大家参考.具体实现方法如下: import re import urllib url="http://www.jb51.net" s=urllib.urlopen(url).read() ss=s.replace(" ","") urls=re.findall(r"<a.*?href=.*?<\/a>",ss,re.I) for i i
-
python 2.7 检测一个网页是否能正常访问的方法
如下所示: #!/bin/env python #coding:utf-8 import requests import sys url = "https://mp.csdn.net/" r = requests.get(url, timeout=5) code = r.status_code if code == 200: print "OK 网站访问正常" sys.exit(0) else: print "Error 不能访问!" sys.
-
Python爬虫爬取一个网页上的图片地址实例代码
本文实例主要是实现爬取一个网页上的图片地址,具体如下. 读取一个网页的源代码: import urllib.request def getHtml(url): html=urllib.request.urlopen(url).read() return html print(getHtml(http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E5%A3%81%E7%BA%B8&ct=201326592&am
-
Python大数据之从网页上爬取数据的方法详解
本文实例讲述了Python大数据之从网页上爬取数据的方法.分享给大家供大家参考,具体如下: myspider.py : #!/usr/bin/python # -*- coding:utf-8 -*- from scrapy.spiders import Spider from lxml import etree from jredu.items import JreduItem class JreduSpider(Spider): name = 'tt' #爬虫的名字,必须的,唯一的 all
-
两个或多个域名共用一个空间并可以独立访问的方法
意义:省了一个空间,可以放在一起 如果将下面代码无限循环后,我估计可以绑定无数的站.呵呵`~当然前提是你的空间商允许你绑定无数个域名,好,废话少说,开始写代码!!!! 步骤如下: 1.首先,你的空间必须支持ASP,并且这个空间可以绑定下面所用到的两个域名(域名绑定可以让空间服务商帮你做),然后新建一个ASP的首页文件,这个ASP文件中的代码如下: 复制代码 代码如下: <%if Request.ServerVariables("SERVER_NAME")="www.jb
-
Python tornado队列示例-一个并发web爬虫代码分享
Queue Tornado的tornado.queue模块为基于协程的应用程序实现了一个异步生产者/消费者模式的队列.这与python标准库为多线程环境实现的queue模块类似. 一个协程执行到yieldqueue.get会暂停,直到队列中有条目.如果queue有上限,一个协程执行yieldqueue.put将会暂停,直到队列中有空闲的位置. 在一个queue内部维护了一个未完成任务的引用计数,每调用一次put操作便会增加引用计数,而调用task_done操作将会减少引用计数. 下面是一个简单的
-
用Python下载一个网页保存为本地的HTML文件实例
我们可以用Python来将一个网页保存为本地的HTML文件,这需要用到urllib库. 比如我们要下载山东大学新闻网的一个页面,该网页如下: 实现代码如下: import urllib.request def getHtml(url): html = urllib.request.urlopen(url).read() return html def saveHtml(file_name, file_content): # 注意windows文件命名的禁用符,比如 / with open(fil
-
python实现随机调用一个浏览器打开网页
前两天总结了一下python爬虫 使用真实浏览器打开网页的两种方法总结 但那仅仅是总结一下而已,今天本文来实战演练一下 依然使用的是 webbrowser 这个模块 来调用浏览器 关于的三种打开方式在上一篇文章中已经说过了,这里不再赘述 如果没有特意注册,那么将会是使用默认的浏览器来打开网页,如下: #默认浏览器 #coding:utf-8 import webbrowser as web #对导入的库进行重命名 def run_to_use_default_browser_open_url(u
-
Python实现多线程抓取网页功能实例详解
本文实例讲述了Python实现多线程抓取网页功能.分享给大家供大家参考,具体如下: 最近,一直在做网络爬虫相关的东西. 看了一下开源C++写的larbin爬虫,仔细阅读了里面的设计思想和一些关键技术的实现. 1.larbin的URL去重用的很高效的bloom filter算法: 2.DNS处理,使用的adns异步的开源组件: 3.对于url队列的处理,则是用部分缓存到内存,部分写入文件的策略. 4.larbin对文件的相关操作做了很多工作 5.在larbin里有连接池,通过创建套接字,向目标站点
-
Python中动态检测编码chardet的使用教程
前言 在互联网的世界里,每个页面都使用了编码,但是形形色色的编码让我们的代码何以得知其棉麻格式呢?charset将很好的解决这个问题. 1. chardet chardet是Python社区提供了一个类库包,方便我们在代码中动态检测当前页面或者文件中的编码格式信息.接口非常的简单和易用. Project主页: https://github.com/chardet/chardet 本地下载地址:http://xiazai.jb51.net/201707/yuanma/chardet(jb51.ne
-
python+django加载静态网页模板解析
接着前面Django入门使用示例 今天我们来看看Django是如何加载静态html的? 我们首先来看一看什么是静态HTML,什么是动态的HTML?二者有什么区别? 静态HTML指的是使用单纯的HTML或者结合CSS制作的包括图片.文字等的只供用户浏览但不包含任何脚本.不含有任何交互功能的网页! 动态的HTML指的是网页不仅提供给用户浏览,网页本身还有交互功能,存在着在脚本如JAVASCRIPT,并利用某种服务器端语言如PHP等实现如用户注册,用户登录,上传文件,下载文件等功能 接下来,了解下加载
随机推荐
- 3种不同的方法生成文件
- Shell脚本实现复制文件到多台服务器的代码分享
- jQuery在ul中显示某个li索引号的方法
- Centos Python2 升级到Python3的简单实现
- Python导出数据到Excel可读取的CSV文件的方法
- Android中用Bmob实现短信验证码功能的方法详解
- 10个易被忽视但应掌握的Python基本用法
- jQuery实现仿QQ在线客服效果的滚动层代码
- jQuery实现div随意拖动的实例代码(通用代码)
- Hibernate管理Session和批量操作分析
- JavaScript 替换Html标签实现代码
- 中了桌面上的ie.exe的解决方法
- Android 中ListView setOnItemClickListener点击无效原因分析
- ArrayList详解和使用示例_动力节点Java学院整理
- C语言求两个字符串的最长公共子串
- C#统计C、C++及C#程序代码行数的方法
- Android5.0之Activity的转场动画的示例
- Nginx层面配置基础用户验证的完整步骤
- Python使用lambda表达式对字典排序操作示例
- Django实现跨域的2种方法