python定位xpath 节点位置的方法
chrome 右键有copy xpath地址
但是有些时候获取的可能不对
可以自己用代码验证一下
如果还是不行 可以考虑从源码当中取出来
趁热打铁，使用前一篇文章中 XPath 节点来定位HTML 页面。
HTML文件如下（您可以将其拷贝，保存成html文件，跟我笔者实验）：
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Storm</title> </head> <body> <h1 id="h1" name="hname" class="cname">这是一个h1标签</h1> <form> 文本域1：<input type="text" name="first_name"> <br> 文本域2：<input type="text" name="last_name"> </form> <form> 密码字段：<input type="password" name="password"> </form> <form> 单选按钮1： <input type="radio" name="radio1" value="nan">male <input type="radio" name="radio1" value="nv">female </form> <form> 宠物： <input type="checkbox" name="cw">猫 <input type="checkbox" name="cw">狗 <input type="checkbox" name="cw">兔子 </form> </body> </html>
1、节点
上面的HTML文件，<html> 为根节点，他有个lang的属性，他有两个子节点<head>和<body>。
2、选取节点实验
（1）/，从根节点选取
下面的代码从根节点开始选取所有的html元素（这里只有一个），打印tag name，就是html
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(r'file:///E:\python\test1\day1\test0.html')
eles = driver.find_elements_by_xpath('/html')
for ele in eles:
print(ele.tag_name)
driver.quit()
运行结果
C:\Python36\python.exe E:/python/test1/day1/test9.py html Process finished with exit code 0
（2）//，从目标节点下选取
下面的xpath，意思就是我要去找head，找到就保存到eles里面，不一定需要在根目录下面找
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(r'file:///E:\python\test1\day1\test0.html')
eles = driver.find_elements_by_xpath('//head')
for ele in eles:
print(ele.tag_name)
driver.quit()
运行结果：
C:\Python36\python.exe E:/python/test1/day1/test9.py head Process finished with exit code 0
如果我换成下面的xpath，结果会如何呢？
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(r'file:///E:\python\test1\day1\test0.html')
eles = driver.find_elements_by_xpath('/head')
for ele in eles:
print(ele.tag_name)
driver.quit()
从根节点选取head元素，跟节点不是head元素，所以找不到，打印为空
（3）. ，选取当前节点；.. ，选取父节点
下面的xpath，第一个，匹配到head元素，然后分配找head当前节点（就是head）；head父节点（是html）
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(r'file:///E:\python\test1\day1\test0.html')
eles2 = driver.find_elements_by_xpath('//head/.')
eles3 = driver.find_elements_by_xpath('//head/..')
for ele in eles2:
print(ele.tag_name)
for ele in eles3:
print(ele.tag_name)
driver.quit()
运行结果：
C:\Python36\python.exe E:/python/test1/day1/test9.py head html Process finished with exit code 0
（4）@ 选取属性
下面xpath为，匹配任意元素，其有个属性charset，值为UTF-8。
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(r'file:///E:\python\test1\day1\test0.html')
eles3 = driver.find_elements_by_xpath('//*[@charset="UTF-8"]')
for ele in eles3:
print(ele.tag_name)
driver.quit()
运行结果为：
C:\Python36\python.exe E:/python/test1/day1/test9.py meta Process finished with exit code 0
3、谓语实验
（1）[1]
选择第一个form元素下面的第一个input元素，打印name属性值
eles1 = driver.find_elements_by_xpath('//form[1]/input[1]')
for ele in eles1:
print(ele.get_attribute('name'))
运行结果：first_name
（2）[last()]
eles1 = driver.find_elements_by_xpath('//form[1]/input[last()]')
运行结果：last_name
（3）[last()-1]
eles1 = driver.find_elements_by_xpath('//form[1]/input[last()-1]')
运行结果：first_name
（4）[position()<3]
eles1 = driver.find_elements_by_xpath('//form[1]/input[position()<3]')
运行结果：
first_name last_name
（5）h1[@class]
在body元素下层找具有class属性的h1标签
eles1 = driver.find_elements_by_xpath('//body/h1[@class]')
for ele in eles1:
print(ele.tag_name)
（6）h1[@class="cname"]
在body元素下层找具有class属性的h1标签，且值为cname
eles1 = driver.find_elements_by_xpath('//body/h1[@class="cname"]')
（7）input[xxx>35]
这个没找到合适的例子，暂缺
4、选取未知节点——通过通配符实现
（1）//form[1]/*
选择form[1]下的所有元素
eles1 = driver.find_elements_by_xpath('//form[1]/*')
for ele in eles1:
print(ele.get_attribute('name'))
运行结果：
first_name None last_name
（2）//*
选择所有元素
eles1 = driver.find_elements_by_xpath('//*')
for ele in eles1:
print(ele.tag_name)
运行结果：
html head meta title body h1 form input br input form input form input input form input input input input
（3）//input[@*]
匹配只要有任意属性的input元素
以上这篇python定位xpath 节点位置的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。
相关推荐
-
python 中xpath爬虫实例详解
案例一: 某套图网站,套图以封面形式展现在页面,需要依次点击套图,点击广告盘链接,最后到达百度网盘展示页面. 这一过程通过爬虫来实现,收集百度网盘地址和提取码,采用xpath爬虫技术 1.首先分析图片列表页,该页按照更新先后顺序暂时套图封面,查看HTML结构.每一组"li"对应一组套图.属性href后面即为套图的内页地址(即广告盘链接页).所以,我们先得获取列表页内所有的内页地址(即广告盘链接页) 代码如下: import requests 倒入requests库 from lxml
-
Python中利用xpath解析HTML的方法
在进行网页抓取的时候,分析定位html节点是获取抓取信息的关键,目前我用的是lxml模块(用来分析XML文档结构的,当然也能分析html结构), 利用其lxml.html的xpath对html进行分析,获取抓取信息. 首先,我们需要安装一个支持xpath的python库.目前在libxml2的网站上被推荐的python binding是lxml,也有beautifulsoup,不嫌麻烦的话还可以自己用正则表达式去构建,本文以lxml为例讲解. 假设有如下的HTML文档: <html> <
-
Python爬虫基础之XPath语法与lxml库的用法详解
前言 本来打算写的标题是XPath语法,但是想了一下Python中的解析库lxml,使用的是Xpath语法,同样也是效率比较高的解析方法,所以就写成了XPath语法和lxml库的用法 XPath 即为 XML 路径语言,它是一种用来确定 XML(标准通用标记语言的子集)文档中某部分位置的语言. XPath 基于 XML 的树状结构,提供在数据结构树中找寻节点的能力. XPath 同样也支持HTML. XPath 是一门小型的查询语言. python 中 lxml库 使用的是 Xpath 语法,是
-
python爬虫之xpath的基本使用详解
一.简介 XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML 文档中对元素和属性进行遍历.XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上. 二.安装 pip3 install lxml 三.使用 1.导入 from lxml import etree 2.基本使用 from lxml import etree wb_data = """ <div> <u
-
python的xpath获取div标签内html内容,实现innerhtml功能的方法
python的xpath没有获取div标签内html内容的功能,也就是获取div或a标签中的innerhtml,写了个小程序实现一下: 源代码 [webadmin@centos7 csdnd4q] #162> vim /mywork/python/csdnd4q/z040.py #去掉最外层标签,保留其内的所有html标记和文本 def getinnerhtml(data): return data[data.find(">")+1:data.rfind("<
-
Python lxml解析HTML并用xpath获取元素的方法
代码 使用方法见注释 #-*- coding: UTF-8 -*- from lxml import etree source = u''' <div><p class="p1" data-a="1">测试数据1</p> <p class="p1" data-a="2">测试数据2</p> <p class="p1" data-a="
-
python xpath获取页面注释的方法
版本信息: python 2.7.12 lxml 3.8.0 from lxml import etree html_str = """ <div id="box1">this from blog.csdn.net/lncxydjq , DO NOT COPY! <div id="box2">***** <!--can u get me, bitch?--> </div> </div
-
Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能示例
本文实例讲述了Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能.分享给大家供大家参考,具体如下: 因为需要使用叶子节点的路径来作为特征,但是原始的lxml模块解析之后得到的却是整个页面中所有节点的xpath路径,不是我们真正想要的形式,所以就要进行相关的处理才行了,差了很多网上的博客和文档也没有找到一个是关于输出html中全部叶子节点的API接口或者函数,也可能是自己没有那份耐心,没有找到合适的资源,只好放弃了寻找,但是这并不说明没有其他的方法了,在对页面全部节点
-
python定位xpath 节点位置的方法
chrome 右键有copy xpath地址 但是有些时候获取的可能不对 可以自己用代码验证一下 如果还是不行 可以考虑从源码当中取出来 趁热打铁,使用前一篇文章中 XPath 节点来定位HTML 页面. HTML文件如下(您可以将其拷贝,保存成html文件,跟我笔者实验): <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title
-
python查看模块安装位置的方法
一.打开命令行,输入 python -v 二.这里以OpenCV为例,cv2为OpenCV模块名,接着输入 import cv2 结果如下 以上这篇python查看模块安装位置的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.
-
Python爬虫Xpath定位数据的两种方法
方法一:直接右键,将文章路径复制下来点击Copy full Xpath 使用selenium+lxml中的etree进行配合使用,使用etree解析html网页 import requests from lxml import etree import time import socket import csv from selenium import webdriver from configparser import ConfigParser from selenium.webdriver
-
python selenium xpath定位操作
xpath是一种在xm文档中定位的语言,详细简介,请自行参照百度百科,本文主要总结一下xpath的使用方法,个人看法,如有不足和错误,敬请指出. 注意:xpath的定位 同一级别的多个标签 索引从1开始 而不是0 1. 绝对定位: 此方法最为简单,具体格式为 xxx.find_element_by_xpath("绝对路径") 具体例子: xxx.find_element_by_xpath("/html/body/div[x]/form/input") x 代表第x个
-
Python Selenium XPath根据文本内容查找元素的方法
问题现象 元素的属性中没有id.name:虽然有class,但比较大众化,且位置也不固定:例如:页码中的下一页:那该如何找到该元素? <a class="paging">上一页</div> <a class="paging">1</div> <a class="paging">2</div> <a class="paging">下一页</
-
基于python定位棋子位置及识别棋子颜色
目录 1.将棋盘分割成19x19的小方格 2.根据像素占比识别是否是黑色棋子 3.根据像素占比识别是否是白色棋子 4.将棋盘棋子位置通过列表表示 完整代码如下: 这一篇主要实现定位棋子位置及识别棋子颜色. 围棋棋盘原图如下: 经过上一章节处理,已经将棋盘位置找到,如下图: 现在根据新图,进行棋子位置的定位 1.将棋盘分割成19x19的小方格 为了定位出棋盘每个交叉点上,是否有棋子,需要将棋盘分割成19X19的小方格,由于围棋棋盘每个交叉线直接距离相同,是矩形,因此分割成小方格十分容易,如下图:
-
Python获取任意xml节点值的方法
本文实例讲述了Python获取任意xml节点值的方法.分享给大家供大家参考.具体实现方法如下: # -*- coding: utf-8 -*- import xml.dom.minidom ELEMENT_NODE = xml.dom.Node.ELEMENT_NODE class SimpleXmlGetter(object): def __init__(self, data): if type(data) == str: self.root = xml.dom.minidom.parse(d
-
Python在groupby分组后提取指定位置记录方法
在进行数据分析.数据建模时,我们首先要做的就是对数据进行处理,提取我们需要的信息.下面为大家介绍一些groupby的用法,以便能够更加方便地进行数据处理. 我们往往在使用groupby进行信息提取时,往往是求分组后样本的一些统计量(max.min,var等).如果现在我们希望取一下分组后样本的第二条记录,倒数第三条记录,这个该如何操作呢?我们可以通过first.last来提取分组后第一条和最后一条样本.但如果我们要取指定位置的样本,就没有现成的函数.需要我们自己去写了.下面我就为大家介绍如何实现