python+selenium+chromedriver实现爬虫示例代码

下载好所需程序

1.Selenium简介

Selenium是一个用于Web应用程序测试的工具，直接运行在浏览器中，就像真正的用户在操作一样。

2.Selenium安装

方法一：在Windows命令行（cmd）输入pip install selenium即可自动安装，安装完成后，输入pip show selenium可查看当前的版本

方法二：直接下载selenium包：

selenium下载网址

Pychome安装selenium如果出现无法安装，参考以下博客
解决Pycharm无法使用已经安装Selenium的问题

3.禁止谷歌浏览器自动更新

搜索本地：管理工具-服务-Google自动更新服务-选择禁止

安装浏览器对应的驱动driver
我这里用的是谷歌，选择对应的驱动版本

驱动的下载地址如下：

http://chromedriver.storage.googleapis.com/index.html

win32、win64的都下载win32.zip的

将下载的chromedriver进行解压，并将文件复制或移动到，浏览器快捷方式所在目录。

环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python

注意：将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面，同时将Scripts路径添加到PATH中，这样每次运行python的时候就会自动加载驱动

代码实现

#已经准备环境：webdriver:Google已经安装好；环境变量配置好；pip install selenium;
#selenium是一个包，包有很多对象，对象有属性，方法。
from selenium import webdriver
browser=webdriver.Chrome()#打开浏览器
url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址
#请求浏览器内容：请求方式：get,post,token
browser.get(url)
#css选择器，id选择器：#开头，class选择器：.开头，标签选择器：p,span,div。
coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容
print(coronavirus_countent)#查看内容，session,一种缓存机制，通过浏览器解析，然后缓存的内容
# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>
print(coronavirus_countent.text)#查看当前css.class中的d的内容

coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容
print(coronavirus_time.text)

coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容
print("=======")
print(coronavirus_data.text)

print("=====找nowConfirm下面的字内容")
coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')
print(coronavirus_sub.text)
browser.quit()

到此这篇关于python+selenium+chromedriver实现爬虫示例代码的文章就介绍到这了,更多相关python selenium chromedriver 爬虫内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 下载与当前Chrome对应的chromedriver.exe(用于python+selenium)

    一. 打开Chrome浏览器,输chrome://version/ 二.下载chromedriver.exe驱动 注意:上图可以看到安装的Chrome浏览器版本为79.0.3945.88 (正式版本) 下载地址1:http://npm.taobao.org/mirrors/chromedriver/ 下载地址2:http://chromedriver.storage.googleapis.com/index.html Firefox浏览器驱动下载地址:https://github.com/moz

  • python selenium 执行完毕关闭chromedriver进程示例

    因为使用多次以后发现进程中出现了很多chromedriver的残留,造成卡顿,所以决定优化一下. 这个问题困扰了楼主很久,百度谷歌查来查去都只有java,后面根据java和selenium结合看找出了python如何执行完把chromedriver进程关闭 Python的话控制chromedriver的开启和关闭的包是Service from selenium.webdriver.chrome.service import Service 创建的时候需要把chromedriver.exe的位置写

  • python+selenium+chromedriver实现爬虫示例代码

    下载好所需程序 1.Selenium简介 Selenium是一个用于Web应用程序测试的工具,直接运行在浏览器中,就像真正的用户在操作一样. 2.Selenium安装 方法一:在Windows命令行(cmd)输入pip install selenium即可自动安装,安装完成后,输入pip show selenium可查看当前的版本 方法二:直接下载selenium包: selenium下载网址 Pychome安装selenium如果出现无法安装,参考以下博客 解决Pycharm无法使用已经安装S

  • selenium+python实现基本自动化测试的示例代码

    selenium+python实现基本自动化测试的示例代码

    安装selenium 打开命令控制符输入:pip install -U selenium 火狐浏览器安装firebug:www.firebug.com,调试所有网站语言,调试功能 Selenium IDE 是嵌入到Firefox 浏览器中的一个插件,实现简单的浏览器操 作的录制与回放功能,IDE 录制的脚本可以可以转换成多种语言,从而帮助我们快速的开发脚本,下载地址:https://addons.mozilla.org/en-US/firefox/addon/selenium-ide/ 如何使用

  • 详解Python+Selenium+ChromeDriver的配置和问题解决

    详解Python+Selenium+ChromeDriver的配置和问题解决

    安装前的准备 1.python的安装和配置 在Window下:在开始菜单中找到运行输入cmd或直接搜索cmd点击进入,输入python,如果出现下图中的>>>则证明Python安装成功. 检测Chrome的版本号安装Chromedriver 记录版本号: 87.0.4280.88 打开ChromeDirver网址:http://chromedriver.storage.googleapis.com/index.html 选择对应版本号的文件夹并打开 ChromeDriver的环境配置 C

  • python+appium实现自动化测试的示例代码

    python+appium实现自动化测试的示例代码

    目录 1.什么是Appium 2.启动一个app自动化程序的步骤 3.appium服务介绍 4. appium客户端使用 5.adb的使用 6.Appium启动过程分析 1.什么是Appium appium是一个开源的测试自动化框架,可以与原生的.混合的和移动的web应用程序一直使用.它使用WebDriver协议驱动IOS(内置的测试引擎xcuitest).Android(uiautomator2,Espresso)和Windows应用程序 原生应用程序:安卓程序是用JAVA或kotlin开发出

  • Python实现登录接口的示例代码

    Python实现登录接口的示例代码

    之前写了Python实现登录接口的示例代码,最近需要回顾,就顺便发到随笔上了 要求: 1.输入用户名和密码 2.认证成功,显示欢迎信息 3.用户名3次输入错误后,退出程序 4.密码3次输入错误后,锁定用户名 Readme: 1.UserList.txt 是存放用户名和密码的文件,格式为:username: password,每行存放一条用户信息 2.LockList.txt 是存放已被锁定用户名的文件,默认为空 3.用户输入用户名,程序首先查询锁定名单 LockList.txt,如果用户名在里面

  • python实现log日志的示例代码

    源代码: # coding=utf-8 import logging import os import time LEVELS={'debug':logging.DEBUG,\ 'info':logging.INFO,\ 'warning':logging.WARNING,\ 'error':logging.ERROR,\ 'critical':logging.CRITICAL,} logger=logging.getLogger() level='default' def createFile

  • Python中字符串与编码示例代码

    在最新的Python 3版本中,字符串是以Unicode编码的,即Python的字符串支持多语言 编码和解码 字符串在内存中以Unicode表示,在操作字符串时,经常需要str和bytes互相转换   如果在网络上传输或保存到磁盘上,则从内存读到的数据就是str,要把str变为以字节为单位的bytes,称为编码   如果从网络或磁盘上读取字节流,则从网络或磁盘上读到的数据就是bytes,要把bytes变为str,称为解码   为避免乱码问题,应当始终坚持使用UTF-8编码对str和bytes进行

  • Python实现ElGamal加密算法的示例代码

    在密码学中,ElGamal加密算法是一个基于迪菲-赫尔曼密钥交换的非对称加密算法.它在1985年由塔希尔·盖莫尔提出.GnuPG和PGP等很多密码学系统中都应用到了ElGamal算法. ElGamal加密算法可以定义在任何循环群G上.它的安全性取决于G上的离散对数难题. 使用Python实现ElGamal加密算法,完成加密解密过程,明文使用的是125位数字(1000比特). 代码如下: import random from math import pow a = random.randint(2

  • Python操作MySQL数据库的示例代码

    1. MySQL Connector 1.1 创建连接 import mysql.connector config={ "host":"localhost","port":"3306", "user":"root","password":"password", "database":"demo" } con=

  • python golang中grpc 使用示例代码详解

    python 1.使用前准备,安装这三个库 pip install grpcio pip install protobuf pip install grpcio_tools 2.建立一个proto文件hello.proto // [python quickstart](https://grpc.io/docs/quickstart/python.html#run-a-grpc-application) // python -m grpc_tools.protoc --python_out=. -

随机推荐