python3判断url链接是否为404的方法

本文实例为大家分享了python3判断url链接是否为404的具体代码，供大家参考，具体内容如下

import pymysql
import threading
import time
import urllib
import requests

# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • python检查URL是否正常访问的小技巧

    python检查URL是否正常访问的小技巧

    今天,项目经理问我一个问题,问我这里有2000个URL要检查是否能正常打开,其实我是拒绝的,我知道因为要写代码了,正好学了点Python,一想,python处理起来容易,就选了python,开始把思路想好: 1.首先2000个URL.可以放在一个txt文本内 2.通过python 把内容内的URL一条一条放进数组内 3.打开一个模拟的浏览器,进行访问. 4.如果正常访问就输出正常,错误就输出错误 直接简单粗暴甩代码.因为涉及到隐私,图片打了码 import urllib.request impo

  • python实现通过代理服务器访问远程url的方法

    本文实例讲述了python实现通过代理服务器访问远程url的方法.分享给大家供大家参考.具体如下: import urllib proxies = {'http' : 'http://proxy:80'} urlopener = urllib.FancyURLopener(proxies) htmlpage = urlopener.open('http://www.baidu.com') data = htmlpage.readlines() print data 希望本文所述对大家的Pytho

  • python3判断url链接是否为404的方法

    本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下 import pymysql import threading import time import urllib import requests # 打开数据库连接 db = pymysql.connect("192.168.0.*", "username", "password", "databasename") # 使用 c

  • python3 判断列表是一个空列表的方法

    python3 判断空列表 @(python3) 有个判断列表是否为空的需求,试了好多方式,比如: a = [] if a is not None: COMMAND a = [] if a[0] is None: COMMAND 各种乱七八糟的逻辑,老是无法满足.其实很简单. a = [] if a: COMMAND 空列表等于 False, 那么直接 if a 就是判断在列表不为空的时候,需要执行的命令 a = [] if len(a): COMMAND 同理,len(a) = 0 在 a 不

  • JavaScript判断一个URL链接是否有效的实现方法

    引言 有一个通讯录系统, 同时部署在几台服务器上, 但是主页上有个通讯录的链接, 链接到这个系统. 问题是, 有时候链接指向的服务器出故障, 于是希望在这个服务器出故障(服务不可用)的情况下, 能指向其他服务器的链接. 解决方案一: XMLHTTP方案 以下代码摘自[2]中meizz的回帖: 复制代码 代码如下: <script language= "javascript"> function getURL(url) { var xmlhttp = new ActiveXO

  • js判断url是否有效的两种方法

    方法一:(仅适用于ie) 复制代码 代码如下: function CheckStatus(url)        {            XMLHTTP = new ActiveXObject("Microsoft.XMLHTTP")            XMLHTTP.open("HEAD",url,false)            XMLHTTP.send()            return XMLHTTP.status==200        } f

  • 使用php get_headers 判断URL是否有效的解决办法

    在php中判断一个文件或目录是否存在,大家通常都会想到is_file和file_exists两个函数.但这两个函数再判断一个远程url文件是否存在的问题上还是会存在这样那样的问题.这里作者将和大家分享一种利用php get_headers函数来判断远程url文件是有效否存在的办法. 关于php get_headers函数的作用及用法,可以参考本站文章: php中get_headers函数的作用及用法的详细介绍下面来具体说如何利用php get_headers却判断url的真实有效性. 通过该函数

  • JS获取url链接字符串 location.href

    js获取url链接字符串:location.href 可以对其进行截取,从而获取传送的参数,常用如下: location.href.indexOf("?")------获取?的index值. 注意:这里的location.href可不是指的现在地址栏里的地址,而是页面实际的地址. 另外,一些题外话: C#中获取字符所在位置的索引,也是用IndexOf来获取. sqlserver中获取索引,就不同了: 第一种: select * from dbo.users where CharInde

  • 检查url链接是否已经有参数的php代码 添加 ? 或 &

    比如分页,因为有些链接已经有参数了,在附加分页信息的时候不能把原有的参数丢掉,所以判断一下链接是否有参数,然后根据需要附加分页信息. 方法很简单: 复制代码 代码如下: ((strpos($url, '?') !== false) ? '&' : '?'); 检查链接中是否含有 ? ,如果有,如: http://www.test.com/index.php?id=id 则直接在链接后面添加一个 & 然后跟上分页信息: http://www.jb51.net/index.php?id=id&

  • JSP对URL链接中的中文乱码处理方法总结

    IE缺省对URL后面的参数是不编码发送的,但是Tomat缺省是按ISO8859-1来进行URL编码的,因此才会出错. 方法一: 对URL链接进行二次编码: <a onclick="javascript:window.open(encodeURI(encodeURI('./DispatchAction.do?efFormEname=FKRY0001&code_type=中文参数')))">测试</a> 或者单独对参数进行二次编码: var code_typ

  • js中数组结合字符串实现查找(屏蔽广告判断url等)

    1.广告屏蔽 有时候我们的广告页面都是统一的用js控制的,有些页面不想显示部分广告,那么我们只需要文章的id即可,纯字符串查找简单有效,我们也在用 var ad_softlist = ',,133015,155868,146429,'; if("undefined" != typeof softid){ //判断文章id是否存在,不存在就不执行,一般页面中会定义好var softid=45465; if(softid!=null && ad_softlist.index

  • python3的url编码和解码,自定义gbk、utf-8的例子

    因为很多时候要涉及到url的编码和解码工作,所以自己制作了一个类,废话不多说 码上见! # coding:utf-8 import urllib.parse class Urlchuli(): """Url处理类,需要传入两个实参:Urlchuli('实参','编码类型'),默认utf-8 url编码方法:url_bm() url解码方法:url_jm()""" def __init__(self,can,mazhi='utf-8'): self

随机推荐