Python爬虫基础之selenium库的用法总结

一、selenium简介

官网

总的来说： selenium库主要用来做浏览器的自动化脚本库。

二、selenium基本用法

from selenium import webdriver

url = 'http://www.baidu.com'

# 将webdriver实例化
path = 'C:\Program Files (x86)\Python38-32\chromedriver.exe'
browser = webdriver.Chrome(executable_path = path)

# 用谷歌浏览器访问百度

r = browser.get(url)
with open ('test.txt','wb+') as f:
    f.write(r.content)

三、常用用法

'''
代码功能：selenium是的常用用法
时间：@Date: 2021-05-22 21:37:05
'''

from selenium import webdriver

# 导入Options类
from selenium.webdriver.chrome.options import Options

url = "https://movie.douban.com/"

# Options的实例化
chrome_options = Options()

# 设置浏览器参数

# --headless 是不显示浏览器启动以及执行过程
chrome_options.add_argument('--headless')

# 设置lang和User-Agent信息，防止反爬检测
chrome_options.add_argument('lang=zh_CN.utf-8')

UserAgent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'

chrome_options.add_argument('User-Agent='+UserAgent)

# 启动浏览器并设置chrome_options参数
driver = webdriver.Chrome(chrome_options=chrome_options)

# 设置浏览器窗口最大化
# driver.maximize_window()

# # 设置浏览器窗口最小化
# driver.minimize_window()

driver.get(url)

# 获取网页的标题
print(driver.title)

# page_source是获取网页的HTML代码
print(driver.page_source)

四、cookie的设置、获取与删除

from selenium import webdriver
import time

# 启动浏览器
driver = webdriver.Chrome()
driver.get('https://www.youdao.com')
time.sleep(5)

# 添加cookie
driver.add_cookie({'name':'login','value':'登录'})

# 获取全部cookie
allCookies = driver.get_cookies()

print('全部cookies',allCookies)

# 获取name为login的cookie
cookie = driver.get_cookie('login')
print('name为login的cookie',cookie)

# 删除单个cookie
driver.delete_cookie('login')
print("\n--------------剩余的cookies\n",driver.get_cookies())

# 删除全部cookies
driver.delete_all_cookies()

print("-------------剩余的cookies------------\n",driver.get_cookies())

time.sleep(60)

五、文件的上传与下载 文件上传upload

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Document</title>
</head>
<body>
    <h1>配合selenium模拟上传文件</h1>
    <input type='file' name='file' />
</body>
</html>

'''
代码功能：selenium上传文件 --配合upload.html使用
时间：@Date: 2021-05-23 09:56:53
'''

from selenium import webdriver
import time

driver = webdriver.Chrome()

url = 'http://localhost:52330/selenium/upload.html'

driver.get(url)

ele = driver.find_element_by_name('file')
print("获取到的元素",ele)

# 注意路径不能有中文字符
ele.send_keys('D:\dcsdk_eventv3.db')
time.sleep(10)

下载文件

'''
代码功能：模拟文件下载
时间：@Date: 2021-05-23 10:21:28
'''

from selenium import webdriver
import time

# 设置文件保存路径，如果不设置，会默认保存到Downloads文件夹

options = webdriver.ChromeOptions()

prefs = {'download.default_directory':'D:\\'}
options.add_experimental_option('prefs',prefs)

# 启动浏览器
driver = webdriver.Chrome()

# 下载PC版微信
driver.get('https://pc.weixin.qq.com')

# 浏览器窗口最大化
driver.maximize_window()
time.sleep(5)
# 点击下载按钮
driver.find_element_by_class_name('download-button').click()

time.sleep(30)

六、窗口的切换

from selenium import webdriver
import time

url = 'https://www.baidu.com/'
driver = webdriver.Chrome()

# 隐式等待，一次设置对整个driver的周期都起作用
driver.implicitly_wait(30)

driver.get(url)

# 使用js开启新的窗口
js = 'window.open("https://www.sogou.com/")'
driver.execute_script(js)

# 获取当前显示的窗口信息
current_window = driver.current_window_handle

print(driver)
# 获取浏览器的全部窗口信息
handles = driver.window_handles
print('获取到的窗口全部信息\n------------------\n',handles)

'''
获取到的窗口全部信息
------------------
 ['CDwindow-7FB808B4F24EF5385A9AFBDC21FA13B9', 'CDwindow-E879C0A64E734C3F88468A4388F48E3B']
'''

# 设置延时看切换的效果
time.sleep(3)

# 根据窗口信息进行窗口切换
# 切换到百度搜索的窗口
driver.switch_to_window(handles[0])
time.sleep(3)

# 切换到搜狗窗口
driver.switch_to_window(handles[1])

七、项目实战

'''
代码功能：熟悉selenium的自动化操作
时间：2020/5/22
'''

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

# Keys 类中定义了很多快捷键

url = 'https://wwww.baidu.com'

path = 'C:\Program Files (x86)\Python38-32\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path)
driver.get(url)

# 获取输入框标签对象
element = driver.find_element_by_id('kw')

# 输入框输入内容
element.send_keys('python你')
time.sleep(2)

# 删除最后一个文字
element.send_keys(Keys.BACK_SPACE)
time.sleep(2)

# 添加空格加教程
element.send_keys(Keys.SPACE)
element.send_keys("教程")
time.sleep(2)

# ctrl+a 全选输入框内容
element.send_keys(Keys.CONTROL, 'a')
time.sleep(2)

# ctrl+x 剪切输入框内容
element.send_keys(Keys.CONTROL, 'x')
time.sleep(2)
# ctrl+v 复制
element.send_keys(Keys.CONTROL, 'v')
time.sleep(2)

# 回车键
driver.find_element_by_id('su').send_keys(Keys.ENTER)
time.sleep(10)

到此这篇关于Python爬虫基础之selenium库的用法总结的文章就介绍到这了,更多相关Python selenium库内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Requests什么的通通爬不了的Python超强反爬虫方案！

    Requests什么的通通爬不了的Python超强反爬虫方案！

    一.前言 一个非常强的反爬虫方案 -- 禁用所有 HTTP 1.x 的请求! 现在很多爬虫库其实对 HTTP/2.0 支持得不好,比如大名鼎鼎的 Python 库 -- requests,到现在为止还只支持 HTTP/1.1,啥时候支持 HTTP/2.0 还不知道. Scrapy 框架最新版本 2.5.0(2021.04.06 发布)加入了对 HTTP/2.0 的支持,但是官网明确提示,现在是实验性的功能,不推荐用到生产环境,原文如下: " HTTP/2 support in Scrapy is

  • Python爬虫之Selenium库的使用方法

    Selenium 是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样.支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等.这个工具的主要功能包括:测试与浏览器的兼容性--测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上.测试系统功能--创建回归测试检验软件功能和用户需求.支持自动录制动作和自动生成 .Net.Java.Perl等不同语言的测试

  • Python中selenium库的用法详解

    selenium主要是用来做自动化测试,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题. 模拟浏览器进行网页加载,当requests,urllib无法正常获取网页内容的时候 一.声明浏览器对象 注意点一,Python文件名或者包名不要命名为selenium,会导致无法导入 from selenium import webdriver #webdriver可以认为是浏览器的驱动器,要驱动浏览器必须用到webdriver,支持多种浏览器,这里以Chrome为例 browser = w

  • Python中Selenium库使用教程详解

    selenium介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 中文参考文档 官网 环境安装 下载安装selenium pip install selenium -i https://mirrors.aliyun.com/pypi/simple/ 谷歌浏览器驱动程序下载地址:

  • python爬虫之selenium库的安装及使用教程

    python爬虫之selenium库的安装及使用教程

    第一步:python中安装selenium库 和其他所有Python库一样,selenium库需要安装 pip install selenium # Windows电脑安装selenium pip3 install selenium # Mac电脑安装selenium 第二步:下载谷歌浏览器驱动并合理放置 selenium的脚本可以控制所有常见浏览器,在使用之前需要安装浏览器端的驱动 注意:驱动和浏览器要版本对应 推荐使用Chrome浏览器:谷歌浏览器驱动 打开chrome浏览器,在网址栏中输入

  • Python Selenium库的基本使用教程

    Python Selenium库的基本使用教程

    (一)Selenium基础 入门教程:Selenium官网教程 1.Selenium简介 Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome.Firefox.Safari等主流界面浏览器,同时也支持phantomJS无界面浏览器. 2.支持多种操作系统 如Windows.Linux.IOS.Android等. 3.安装Selenium pip install Selenium 4.安装浏览器驱动 Selenium3.x调用浏览器必须有一个webdriver驱动文件

  • python中selenium库的基本使用详解

    什么是selenium selenium 是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样.支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等.selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid). S

  • 快速搭建python爬虫管理平台

    快速搭建python爬虫管理平台

    爬虫有多重要 对搜索引擎来说,爬虫不可或缺:对舆情公司来说,爬虫是基础:对 NLP来说,爬虫可以获取语料:对初创公司来说,爬虫可以获取初始内容.但是爬虫技术纷繁复杂,不同类型的抓取场景会运用到不同的技术.例如,简单的静态页面可以用 HTTP 请求+HTML 解析器直接搞定:一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具:有反爬的网站需要用到代理.打码等技术:等等.那么此时就需要一个成熟的爬虫管理平台,帮助企业或个人处理大量的爬虫类别. 理解什么是爬虫管理平台 定义

  • Python爬虫之获取心知天气API实时天气数据并弹窗提醒

    Python爬虫之获取心知天气API实时天气数据并弹窗提醒

    一.心知天气API密钥获取 首先,访问https://www.seniverse.com,进行登录或者注册操作,然后在控制台上创建一个免费版的项目,创建后,项目信息为: 复制你的私钥信息,来到官方文档,发现API地址为: 在文档中,可以看到查询的API网址,接下来,把url中的参数key改为你的密钥,访问,返回的json数据: 二.编写代码 代码如下: import requests from plyer import notification """ plyer是用来显示弹

  • python爬虫之异常捕获及标签过滤详解

    python爬虫之异常捕获及标签过滤详解

    增加异常捕获,更容易现问题的解决方向 import ssl import urllib.request from bs4 import BeautifulSoup from urllib.error import HTTPError, URLError def get_data(url): headers = {"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (

随机推荐