python中的selenium实现自动向下滚动页面并指定最大滑动距离

需要selenium控制的chrome向下滑动，自动加载一些内容，核心代码是：

browser.execute_script("window.scrollBy(0,300)")

这行可以向下滑动300个像素

需要的工具函数如下：

def roll_window_to_bottom(browser, stop_length=None, step_length=500):
    """selenium 滚动当前页面，向下滑
    :param browser: selenium的webdriver
    :param stop_length: 滑动的最大值
    :param step_length: 每次滑动的值
    """
    original_top = 0
    while True:  # 循环向下滑动
        if stop_length:
            if stop_length - step_length < 0:
                browser.execute_script("window.scrollBy(0,{})".format(stop_length))
                break
            stop_length -= step_length
        browser.execute_script("window.scrollBy(0,{})".format(step_length))
        time.sleep(0.5 + random.random())  # 停顿一下
        check_height = browser.execute_script(
            "return document.documentElement.scrollTop || window.pageYOffset || document.body.scrollTop;")
        if check_height == original_top:  # 判断滑动后距顶部的距离与滑动前距顶部的距离
            break
        original_top = check_height

使用示例：

from selenium import webdriver
import time
import random

def roll_window_to_bottom(browser, stop_length=None, step_length=500):
    """selenium 滚动当前页面，向下滑
    :param browser: selenium的webdriver
    :param stop_length: 滑动的最大值
    :param step_length: 每次滑动的值
    """
    original_top = 0
    while True:  # 循环向下滑动
        if stop_length:
            if stop_length - step_length < 0:
                browser.execute_script("window.scrollBy(0,{})".format(stop_length))
                break
            stop_length -= step_length

        browser.execute_script("window.scrollBy(0,{})".format(step_length))
        time.sleep(0.5 + random.random())  # 停顿一下
        check_height = browser.execute_script(
            "return document.documentElement.scrollTop || window.pageYOffset || document.body.scrollTop;")
        if check_height == original_top:  # 判断滑动后距顶部的距离与滑动前距顶部的距离
            break
        original_top = check_height

def main():
    option = webdriver.ChromeOptions()
    option.add_argument('lang=zh_CN.UTF-8')  # 设置
    browser = webdriver.Chrome(chrome_options=option, desired_capabilities={"page_load_strategy": "none"})
    browser.get("http://news.baidu.com/")
    roll_window_to_bottom(browser, stop_length=700)

if __name__ == '__main__':
    main()

到此这篇关于python中的selenium实现自动向下滚动页面并指定最大滑动距离的文章就介绍到这了,更多相关selenium实现自动向下滚动页面并指定最大滑动距离内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • python+selenium行为链登录12306(滑动验证码滑块)

    python+selenium行为链登录12306(滑动验证码滑块)

    使用python网络爬虫登录12306,网站界面如下.因为网站的反爬是不断升级的,以下代码虽然当前可用,但早晚必将会不再能满足登录需求.但是知识的价值,是不容置疑的. from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains import time from selenium.webdriver import ChromeOptions # 去除浏览器识别 opt

  • Python之Selenium自动化浏览器测试详解

    Python之Selenium自动化浏览器测试详解

    目录 Python之Selenium(自动化浏览器测试) 1.安装selenium 2.下载对应版本的浏览器驱动 3.测试code,打开一个网页,并获取网页的标题 4.一个小样例 总结 Python之Selenium(自动化浏览器测试) 1.安装selenium pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple 2.下载对应版本的浏览器驱动 http://npm.taobao.org/mirrors/chromedr

  • python用selenium打开chrome浏览器保持登录方式

    python用selenium打开chrome浏览器保持登录方式

    目录 导读 selenium操作浏览器 打开chrome浏览器 使用selenium打开网站 总结 导读 我们在使用selenium打开google浏览器的时候,默认打开的是一个新的浏览器窗口,而且里面不带有任何的浏览器缓存信息.当我们想要爬取某个网站信息或者做某些操作的时候就需要自己再去模拟登陆 selenium操作浏览器 这里我们就以CSDN为例,来展示如何让selenium在打开chrome浏览器的时候带上用户的登录信息 打开chrome浏览器 from selenium import w

  • python+selenium操作下拉框

    python+selenium操作下拉框

    以该网站为例:https://www.17sucai.com/pins/demo-show?id=5926 该网页下存在多个可供测试的下拉框. 基本脚手架代码: from selenium.webdriver.support.ui import Select from selenium import webdriver import time driver = webdriver.Chrome() driver.get('https://www.17sucai.com/pins/demo-sho

  • python网络爬虫selenium打开多窗口与切换页面的实现

    python网络爬虫selenium打开多窗口与切换页面的实现

    关于python网络爬虫selenium打开多窗口与切换页面的方法代码测试与解析. 首先打开百度 from selenium import webdriver import time driver = webdriver.Chrome() driver.get('https://www.baidu.com/') 以知乎为例,打开一个新的界面,使用 execute_script() 方法,执行JavaScript代码.并调用driver的current_url属性,然后查看当前页面的url: dr

  • python selenium在打开的浏览器中动态调整User Agent

    python selenium在打开的浏览器中动态调整User Agent

    核心代码是: browser.execute_cdp_cmd('Network.setUserAgentOverride', {         "userAgent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2226.0 Safari/537.36",         "platform": "Wi

  • python中的selenium实现自动向下滚动页面并指定最大滑动距离

    需要selenium控制的chrome向下滑动,自动加载一些内容,核心代码是: browser.execute_script("window.scrollBy(0,300)") 这行可以向下滑动300个像素 需要的工具函数如下: def roll_window_to_bottom(browser, stop_length=None, step_length=500):     """selenium 滚动当前页面,向下滑     :param browse

  • Python如何基于selenium实现自动登录博客园

    Python如何基于selenium实现自动登录博客园

    这篇文章主要介绍了Python如何基于selenium实现自动登录博客园,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 需要做的准备: 本文章是使用Chrome,所以需要Chormedriver.exe,具体的下载过程可以百度查到 Selenium是一种自动化测试工具,能模拟浏览器的行为,所以今天我就模拟一下浏览器登陆博客园的行为. 首先,分析问题,登陆博客园需要做些什么: 1.打开浏览器 2.输入博客园主页的网址 3.点击登陆按钮,等待页面跳

  • python中的selenium安装的步骤（浏览器自动化测试框架）

    一.前言 我们今天要安装的selenium 就是浏览器自动化测试框架,是一个用于Web应用程序的测试工具,就是模拟用户操作.支持的浏览器包括Chrome,IE,Mozilla Firefox,Safari,Opera等.今天我们以Chrome为例讲一下安装方法. (其他方法大同小异) 二.准备工作 2.1.下载浏览器驱动并安装 一般的包安装直接在cmd <pip install 包的名称>,但这个包还需要下载相应的浏览器的驱动,这里强烈推荐Chrome,谁用谁知道.(没有学python爬虫之前

  • python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解

    python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解

    基本思路: 首先用开发者工具找到需要提取数据的标签列 利用xpath定位需要提取数据的列表 然后再逐个提取相应的数据: 保存数据到csv: 利用开发者工具找到下一页按钮所在标签: 利用xpath提取此标签对象并返回: 调用点击事件,并循环上述过程: 最终效果图: 代码: from selenium import webdriver import time import re class Douyu(object): def __init__(self): # 开始时的url self.start

  • python中利用zfill方法自动给数字前面补0

    python中利用zfill方法自动给数字前面补0

    python中有一个zfill方法用来给字符串前面补0,非常有用 view sourceprint? n = "123" s = n.zfill(5) assert s == "00123" zfill()也可以给负数补0 n = "-123" s = n.zfill(5) assert s == "-0123" 对于纯数字,我们也可以通过格式化的方式来补0 n = 123 s = "%05d" % n a

  • Python 中的Selenium异常处理实例代码

    自动化测试执行过程中,难免会有错误/异常出现,比如测试脚本没有发现对应元素,则会立刻抛出NoSuchElementException异常.这时不要怕,肯定是测试脚本或者测试环境哪里出错了!那如何处理才是关键?因为一般只是局部有问题,为了让脚本继续执行,so我们可以用try...except...raise捕获异常.该捕获异常后可以打印出相应的异常原因,这样以便于分析异常原因. 下面将举例说明,当异常抛出后将信息打印在控制台,同时截取当前浏览器窗口,作为后续bug的依据给相应开发人员更好下定位问题

  • Python中使用Selenium环境安装的方法步骤

    Python中使用Selenium环境安装的方法步骤

    环境准备 已正确安装python环境,已安装chrome浏览器或者firefox浏览器 使用 python --version 命令如果输出python版本则python 安装成功 安装selenium 使用pip命令安装selenium pip install selenium 下载chrome驱动 或者firefox驱动 selenium的chrome驱动(国内阿里像) selenium的firefox驱动(github地址) 注意:下载对应版本的驱, 点击浏览器三个点 - 帮助 - 关于G

  • 解决Python中定时任务线程无法自动退出的问题

    python的线程有一个类叫Timer可以,用来创建定时任务,但是它的问题是只能运行一次,如果要重复执行,则只能在任务中再调用一次timer,但这样就存在新的问题了,就是在主进程退出后,不能正常退出子线程. from threading import Timer def scheduletaskwrap(): pritn "in task" Timer(10, scheduletaskwrap).start() Timer(10, scheduletaskwrap).start() 象

  • python中如何设置代码自动提示

    第一步:打开pycharm,如下图所示: 第二步:File→Power Save Mode,把下面如图所示的勾去掉: 第三步:去掉勾后,不再使用省电模式,新建一个 python文件,输入需要输入的单词的前面的字母,就会自动提示了.如下图: 知识点扩展: Python代码的自动补全 我所知道的python编辑器有Pydev.Pycharm.Sublime.Eric.还有就是Vim.Emacs(听说VS也行). Pydev用过一段时间(半个月左右).Pycharm用的时间不超过2天(30天试用版).

  • python中可以发生异常自动重试库retrying

    python中可以发生异常自动重试库retrying

    目录 1.前言 2.快速开始 2.1.安装retrying 2.2.模拟无限重试 2.3.模拟最大重试次数 2.4.模拟最大重试时间 2.5.模拟重试间隔时间 2.6.指定重试调用的方法 2.7.指定重试的异常类型 2.8.指定重试的特定条件 1.前言 在我们日常的开发工作中,为了代码的健壮性,我们通常会对方法中的业务代码进行try-except的包装,以防止在发生异常的时候进程被中断.如果发生异常,我们该怎么办呢?有同学可能用自己的方式(循环)去做了重试,那么有没有一种通用的可靠的重试方式呢?

随机推荐