Python使用正则表达式获取网页中所需要的信息

使用正则表达式的几个步骤：

1、用import re 导入正则表达式模块；

2、用re.compile()函数创建一个Regex对象；

3、用Regex对象的search()或findall()方法，传入想要查找的字符串，返回一个Match对象；

4、调用Match对象的group()方法，返回匹配到的字符串。

在交互式环境中简单尝试一下，查询字符串中的固话：

 import re
 text = '小明家的固话是0755-123456，而小丽家的固话时0789-654321，小王家的电话是123456789'#用于检测的字符串
 ph_re = re.compile(r'\d{4}?-\d+') #创建Regex对象，匹配几种电话的方式，\d表示0-9的数字，{4}表示前面的匹配4次，？表示可选，+表示出现1次或多次。
 matchs1 = ph_re.findall(text) #findall()表示查找所有匹配项，返回一个字符串
 matchs2 = ph_re.search(text)#search(),查找第一次匹配的文本，返回一个对象。
 print(matchs1)
 print(matchs2)
 matchs2.group()

返回的结果，是这样的：

findall()方法返回的是一个字符串，可以直接打印出来。而search()方法返回的是一个对象，所以打印出来的是是如图的第二行。

调用group()，对象返回匹配的结果。

最后，小王的电话之所以没有匹配到，是因为'-'没有进行可选即在其后加上‘？'。

下面进行一个小的实验，获取某个网页中所有的http/https网址，并计算有多少个。

首先是获取HTML文件。这里要用到requests模块。

 # -*- coding: utf-8 -*-
 import requests
 import re
 def get_html(url):
  res = requests.get(url)
  res.encoding = 'utf-8'
  html = res.text
  return html

这里get_html函数返回的，其实就类似上面例子中的text，用来匹配的文本。

然后，创建正则表达式：

def get_addr(response):
  addr_regex = re.compile(r'''(
   (http://|https://)?　　#http/https
   (www)?
   (\.[a-z1-9A-Z]+)
   (\.com|\.cn)
   )''',re.VERBOSE)#匹配网址，
  matchs = []
  for groups in addr_regex.findall(response):
   matchs.append(groups[0])
  if len(matchs) == 0:
   print('没有网址')
  return matchs

这里向re.compile(),传入变量re.VERBOSE，作为第二个参数，可以将正则表达式放在多行，并进行注释，如上。

返回一个matchs列表对象。

再来个启动函数。

 def start():
  url = 'http://news.163.com/18/0127/18/D966K4CO0001899N.html'
  a = get_html(url)
  b = get_addr(a)
  print('\n'.join(b))
  print(str(len(b)))
  print('ok')
if __name__ == '__main__':
  start()

这里传入的url是我随意找的一个新闻链接。

然后调用get_html()和get_addr()，就得到了想要的东西。str(len(b))，为统计的数量。

测试的结果是类似这样的：

这里似乎获取一些URL，没什么卵用。。。但是，如果结合前面的查询新闻列表的方式，获取批量url，

而创建的正则是xxx.jpg，然后调用os模块，os.mkdir(folder)、os.chdir(folder)，将获取到的匹配结果写入文件，放入某个文件夹。

那么就可以实现，从某些网站上批量获取jpg图片，然后存入某个文件夹的爬虫功能。实测，可行！

总结

以上所述是小编给大家介绍的Python使用正则获取网页中所需要的信息，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！

您可能感兴趣的文章:

  • Python爬虫实现网页信息抓取功能示例【URL与正则模块】
  • Python使用正则表达式抓取网页图片的方法示例
  • python使用正则表达式提取网页URL的方法
  • python使用正则表达式分析网页中的图片并进行替换的方法
赞 (0)

相关推荐

  • python使用正则表达式分析网页中的图片并进行替换的方法

    本文实例讲述了python使用正则表达式分析网页中的图片并进行替换的方法.分享给大家供大家参考.具体分析如下: 这段代码分析网页中的所有图片表单<img>,分析后为其前后添加相应的修饰标签,并添加到图片的超级链接. 复制代码 代码如下: result = value.replace("[ page ]","").replace('  ',u' ') p=re.compile(r'''(<img\b[^<>]*?\bsrc[\s\t\r\

  • python使用正则表达式提取网页URL的方法

    本文实例讲述了python使用正则表达式提取网页URL的方法.分享给大家供大家参考.具体实现方法如下: import re import urllib url="http://www.jb51.net" s=urllib.urlopen(url).read() ss=s.replace(" ","") urls=re.findall(r"<a.*?href=.*?<\/a>",ss,re.I) for i i

  • Python爬虫实现网页信息抓取功能示例【URL与正则模块】

    本文实例讲述了Python爬虫实现网页信息抓取功能.分享给大家供大家参考,具体如下: 首先实现关于网页解析.读取等操作我们要用到以下几个模块 import urllib import urllib2 import re 我们可以尝试一下用readline方法读某个网站,比如说百度 def test(): f=urllib.urlopen('http://www.baidu.com') while True: firstLine=f.readline() print firstLine 下面我们说

  • Python使用正则表达式抓取网页图片的方法示例

    本文实例讲述了Python使用正则表达式抓取网页图片的方法.分享给大家供大家参考,具体如下: #!/usr/bin/python import re import urllib #获取网页信息 def getHtml(url): page = urllib.urlopen(url) html = page.read() return html def getImg(html): #匹配网页中的图片 reg = r'src="(.*?\.jpg)" alt' imgre = re.com

  • Python使用正则表达式获取网页中所需要的信息

    使用正则表达式的几个步骤: 1.用import re 导入正则表达式模块: 2.用re.compile()函数创建一个Regex对象: 3.用Regex对象的search()或findall()方法,传入想要查找的字符串,返回一个Match对象: 4.调用Match对象的group()方法,返回匹配到的字符串. 在交互式环境中简单尝试一下,查询字符串中的固话: import re text = '小明家的固话是0755-123456,而小丽家的固话时0789-654321,小王家的电话是1234

  • Java中使用正则表达式获取网页中所有图片的路径

    /** * 从HTML源码中提取图片路径,最后以一个 String 类型的 List 返回,如果不包含任何图片,则返回一个 size=0 的List * 需要注意的是,此方法只会提取以下格式的图片:.jpg|.bmp|.eps|.gif|.mif|.miff|.png|.tif|.tiff|.svg|.wmf|.jpe|.jpeg|.dib|.ico|.tga|.cut|.pic * @param htmlCode HTML源码 * @return <img>标签 src 属性指向的图片地址的

  • node.js正则表达式获取网页中所有链接的代码实例

    实现代码 复制代码 代码如下: var http = require('http'); //定义函数var getAHref = function(htmlstr){    var reg = /<a.+?href=('|")?([^'"]+)('|")?(?:\s+|>)/gim;    var arr = [];    while(tem=reg.exec(htmlstr)){        arr.push(tem[2]);    }    return a

  • c# 获取网页中指定的字符串信息的实例代码

    复制代码 代码如下: private void button2_Click(object sender, EventArgs e)          {              // Create a request for the URL.                 WebRequest request = WebRequest.Create("http://www.baidu.com/");              // If required by the server

  • python获取网页中所有图片并筛选指定分辨率的方法

    压测时,图片太少,想着下载网页中的图片,然后过滤指定分辨率,但网页中指定分辨率的图片太少了(见下) 后使用格式工厂转换图片 import urllib.request # 导入urllib模块 import re # 导入re模块 import os from PIL import Image htmlurl = 'http://www.win4000.com/wallpaper_detail_134824_3.html' downloadpath = 'C:\\Users\\yaowanjun

  • C#基于正则表达式实现获取网页中所有信息的网页抓取类实例

    本文实例讲述了C#基于正则表达式实现获取网页中所有信息的网页抓取类.分享给大家供大家参考,具体如下: 类的代码: using System; using System.Data; using System.Configuration; using System.Net; using System.IO; using System.Text; using System.Collections.Generic; using System.Text.RegularExpressions; using

  • python 正则表达式获取字符串中所有的日期和时间

    提取日期前的处理 1.处理文本数据的日期格式统一化 text = "2015年8月31日,衢州元立金属制品有限公司仓储公司(以下简称元立仓储公司)成品仓库发生一起物体打击事故,造成直接经济损失95万元." text1 = "2015/12/28下达行政处罚决定书" text2 = "2015年8月发生一起物体打击事故" # 对文本处理一下 # 2015-8-31 2015-12-28 text = text.replace("年&quo

  • Python爬取动态网页中图片的完整实例

    Python爬取动态网页中图片的完整实例

    动态网页爬取是爬虫学习中的一个难点.本文将以知名插画网站pixiv为例,简要介绍动态网页爬取的方法. 写在前面 本代码的功能是输入画师的pixiv id,下载画师的所有插画.由于本人水平所限,所以代码不能实现自动登录pixiv,需要在运行时手动输入网站的cookie值. 重点:请求头的构造,json文件网址的查找,json中信息的提取 分析 创建文件夹 根据画师的id创建文件夹(相关路径需要自行调整). def makefolder(id): # 根据画师的id创建对应的文件夹 try: fol

  • PHP批量获取网页中所有固定种子链接的方法

    本文实例讲述了PHP批量获取网页中所有固定种子链接的方法.分享给大家供大家参考,具体如下: 经常的下载链接比较多的时候,就像一次性将所有的链接添加到迅雷或者电炉,但是没有在这种选项,怎么办,咱是PHPer啊,这事儿难不到咱 且看代码,当然要换成你的,要根据具体情况来做修改. <?php header("content-type:text/html;charset=utf8"); $str = file_get_contents('./ShowFile.asp'); $str1 =

随机推荐