php定期拉取数据对比方法实例

写在前面

今天在网上看帖子提问的时候，看到有人发表了一个提问

php下载远程的批量文件，每天一次，对比昨天和今天的文件，将旧文件替换成新文件

我们通过这个问题来分析讲解一下其中的知识点。

首先要解决的问题是：如何让程序每天自动执行一次脚本

php定时执行任务

关于定时执行，最常见的方法是利用系统级别自带的功能

  • linux ( crontab 定时任务命令) windows计划任务

这需要手动修改系统的任务文件，然后使其生效

手动在linux添加定时任务

# crontab -e

运行该命令 打开任务编辑 在其中输入任务内容，然后Esc :wq保存退出

任务示例

0 0 * * * /www/siam/test.sh

前面的是运行周期的配置，后面的是sh脚本的路径，该方式一般需要自己编写sh脚本来执行

宝塔面板快速计划任务

如果我们使用宝塔面板当成运维工具，那么我们就可以很方便地添加计划任务了，如下图，宝塔中内置了挺多计划任务的类型，如定时请求URL，运行脚本，备份文件等等。

可视化配置，带给我们极大的便利，维护、添加都节约了很多的时间。

这也是为什么宝塔受到那么多人喜爱的原因之一吧。

宝塔面板计划任务的面板添加
取巧云监控定时执行
以上两种方式都需要服务器的权限，我们才可以管理定时任务，假设我们刚入门时使用的是虚拟主机，没有权限设置脚本运行，那么该如何实现这种功能呢？

这里记录了我以前学习时利用的一个小方案，大家可以在其中学习一下。

云监控，是很多云服务商提供的一项服务，它可以用来测试、分析接口或者网站的稳定性和执行效率。

我们可以在服务商的后台类似宝塔面板一样去添加任务，然后服务商就会按我们设置的频率，定期访问网址，获取网址的正确执行、时间等信息，记录到他们后台，提供给用户查看分析改进。

我们可以利用这种特性，由服务商向我们的服务发起请求，我们可以填写一个php脚本的url，在其中判断当前时间，如果当前时间周期已经到了你设置的时间，则执行下面的内容

同时因为云监控是不间断地发起（一般最细颗粒是30s） 如果不能重复运行的任务，我们需要及时地把任务标记为已经执行。

可以在本地写文件，当文件锁。

不同云监控服务商有不同的设置和服务提供，网上有挺多免费的。大家可以找一找，如果找不到好的，也可以联系我QQ交流一下。

现代化PHP

PHP发展了这么久，其实已经有了很大的改进，比如PHP5OOP特性的完善、PHP7的性能提高、Swoole生态的出现，让PHP能做的事越来越多，越做越好。

在当今环境中，我们可以使用SWOOLE常驻内存的特性完成很多事，

这里推荐一下EasySwoole这款基于Swoole环境的框架。

关于定时任务在EasySwoole框架中的文档地址点这里EasySwoole Crontab 定时器

常驻内存的程序，在服务器上后台稳定运行，

EasySwoole中提供了丰富的组件，比如传统PHPFPM环境很难解决的Mysql数据库连接池、协程Redis客户端、协程Http客户端、芒果DB客户端等等

还有我们这个主题有的一个定时任务的模块，下面看一小段demo代码

首先在主环境事件代码中开启定时任务

public static function mainServerCreate(EventRegister $register)
{
  // 开始一个定时任务计划
  Crontab::getInstance()->addTask(TaskOne::class);
}

定时任务的配置和内容

namespace App\Crontab;

use EasySwoole\EasySwoole\Crontab\AbstractCronTask;

class TaskOne extends AbstractCronTask
{

  public static function getRule(): string
  {
    // TODO: Implement getRule() method.
    // 定时周期 （每小时）
    return '@hourly';
  }

  public static function getTaskName(): string
  {
    // TODO: Implement getTaskName() method.
    // 定时任务名称
    return 'taskOne';
  }

  static function run(\swoole_server $server, int $taskId, int $fromWorkerId,$flags=null)
  {
    // 定时任务处理逻辑

    // 我们在这里执行拉取文件、对比处理、保存文件的逻辑就好了
    var_dump('run once per hour');
  }
}

其他问题

解决了定时执行的问题，那么下载文件和保存文件，我觉得应该都不会是很大的问题

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • php使用mysqli和pdo扩展，测试对比连接mysql数据库的效率完整示例

    php使用mysqli和pdo扩展，测试对比连接mysql数据库的效率完整示例

    本文实例讲述了php使用mysqli和pdo扩展,测试对比连接mysql数据库的效率.分享给大家供大家参考,具体如下: <?php /** * 测试pdo和mysqli的连接效率,各连接100次mysql数据库 */ header("Content-type:text/html;charset=utf8"); //通过pdo链接数据库 $pdo_startTime = microtime(true); for($i=1;$i<=100;$i++){ $pdo = new P

  • PHP数据库连接mysql与mysqli对比分析

    一.mysql与mysqli的概念相关 1.mysql与mysqli都是php方面的函数集,与mysql数据库关联不大. 2.在php5版本之前,一般是用php的mysql函数去驱动mysql数据库的,比如mysql_query()的函数,属于面向过程3.在php5版本以后,增加了mysqli的函数功能,某种意义上讲,它是mysql系统函数的增强版,更稳定更高效更安全,与mysql_query()对应的有mysqli_query(),属于面向对象,用对象的方式操作驱动mysql数据库 二.mys

  • php中数据库连接方式pdo和mysqli对比分析

    1)总的比较   PDO MySQLi 数据库支持 12种不同的数据库支持 支持MySQL API OOP OOP + 过程 Connection Easy Easy 命名参数 支持 不支持 对象映射支持 支持 支持 预处理语句  (客户端) 支持 不支持 性能 快 快 支持存储过程 支持 支持 2 连接方式 先来看下两者连接数据库的方式: 复制代码 代码如下: // PDO $pdo = new PDO("mysql:host=localhost;dbname=database",

  • php使用mysqli和pdo扩展，测试对比mysql数据库的执行效率完整示例

    php使用mysqli和pdo扩展，测试对比mysql数据库的执行效率完整示例

    本文实例讲述了php使用mysqli和pdo扩展,测试对比mysql数据库的执行效率.分享给大家供大家参考,具体如下: <?php /** * 测试pdo和mysqli的执行效率 */ header("Content-type:text/html;charset=utf-8"); //通过pdo链接数据库 $pdo_startTime = microtime(true); $pdo = new PDO("mysql:host=localhost;dbname=test&

  • PHP大批量插入数据库的3种方法和速度对比

    第一种方法:使用insert into 插入,代码如下: $params = array('value'=>'50′); set_time_limit(0); echo date("H:i:s"); for($i=0;$i<2000000;$i++){ $connect_mysql->insert($params); }; echo date("H:i:s"); 最后显示为:23:25:05 01:32:05 也就是花了2个小时多! 第二种方法:使

  • php定期拉取数据对比方法实例

    写在前面 今天在网上看帖子提问的时候,看到有人发表了一个提问 php下载远程的批量文件,每天一次,对比昨天和今天的文件,将旧文件替换成新文件 我们通过这个问题来分析讲解一下其中的知识点. 首先要解决的问题是:如何让程序每天自动执行一次脚本 php定时执行任务 关于定时执行,最常见的方法是利用系统级别自带的功能 linux ( crontab 定时任务命令) windows计划任务 这需要手动修改系统的任务文件,然后使其生效 手动在linux添加定时任务 # crontab -e 运行该命令 打开

  • php使用curl代理实现抓取数据的方法

    本文实例讲述了php使用curl代理实现抓取数据的方法.分享给大家供大家参考,具体如下: <?php define ( 'IS_PROXY', true ); //是否启用代理 function async_get_url($url_array, $wait_usec = 0) { if (!is_array($url_array)) return false; $wait_usec = intval($wait_usec); $data = array(); $handle = array()

  • php通过curl添加cookie伪造登陆抓取数据的方法

    php通过curl添加cookie伪造登陆抓取数据的方法

    本文实例讲述了php通过curl添加cookie伪造登陆抓取数据的方法.分享给大家供大家参考,具体如下: 有的网页必须登陆才能看到,这个时候想要抓取信息必须在header里面传递cookie值才能获取 1.首先登陆网站,打开firebug就能看到对应的cookie把这些cookie拷贝出来就能使用了 2. <?php header("Content-type:text/html;Charset=utf8"); $ch =curl_init(); curl_setopt($ch,C

  • jquery+thinkphp实现跨域抓取数据的方法

    jquery+thinkphp实现跨域抓取数据的方法

    本文实例讲述了jquery+thinkphp实现跨域抓取数据的方法.分享给大家供大家参考,具体如下: 今天做一个远程抓取数据的功能,记得jquery可以用Ajax远程抓取,但不能跨域.再网上找了很多.但我觉得还是来个综合的,所以我现在觉得有点把简单问题复杂化了,但至少目前解决了: 跨域抓取数据到本地数据库再异步更新的效果 我实现的方式:jquery的$.post发送数据到服务器后台,在由后台的PHP代码执行远程抓取,存到数据库ajax返回数据到前台,前台用JS接受数据并显示. //远程抓取获取数

  • C#发送数据到剪贴板及从剪贴板中取数据的方法

    本文实例讲述了C#发送数据到剪贴板及从剪贴板中取数据的方法.分享给大家供大家参考.具体如下: 1. 发送数据到剪贴板 using System.Windows.Forms; Clipboard.SetText("test"); 2. 从剪贴板中取数据 using System.Windows.Forms; IDataObject iData = Clipboard.GetDataObject(); if (iData.GetDataPresent(DataFormats.Text))

  • Python大数据之从网页上爬取数据的方法详解

    Python大数据之从网页上爬取数据的方法详解

    本文实例讲述了Python大数据之从网页上爬取数据的方法.分享给大家供大家参考,具体如下: myspider.py  : #!/usr/bin/python # -*- coding:utf-8 -*- from scrapy.spiders import Spider from lxml import etree from jredu.items import JreduItem class JreduSpider(Spider): name = 'tt' #爬虫的名字,必须的,唯一的 all

  • python批量从es取数据的方法(文档数超过10000)

    如下所示: """ 提取文档数超过10000的数据 按照某个字段的值具有唯一性进行升序, 按照@timestamp进行降序, 第一次查询,先将10000条数据取出, 取出最后一个时间戳, 在第二次查询中,设定@timestamp小于将第一次得到的最后一个时间戳, 同时设定某个字段的值具有唯一性进行升序, 按照@timestamp进行降序, """ from elasticsearch import Elasticsearch import os

  • android针对json数据解析方法实例分析

    本文实例讲述了android针对json数据解析方法.分享给大家供大家参考.具体如下: JSON的定义: 一种轻量级的数据交换格式,具有良好的可读和便于快速编写的特性.业内主流技术为其提供了完整的解决方案(有点类似于正则表达式 ,获得了当今大部分语言的支持),从而可以在不同平台间进行数据交换.JSON采用兼容性很高的文本格式,同时也具备类似于C语言体系的行为. – Json.org JSON Vs XML 1.JSON和XML的数据可读性基本相同 2.JSON和XML同样拥有丰富的解析手段 3.

  • Android中ListView下拉刷新的实现方法实例分析

    Android中ListView下拉刷新的实现方法实例分析

    本文实例讲述了Android中ListView下拉刷新的实现方法.分享给大家供大家参考,具体如下: ListView中的下拉刷新是非常常见的,也是经常使用的,看到有很多同学想要,那我就整理一下,供大家参考.那我就不解释,直接上代码了. 这里需要自己重写一下ListView,重写代码如下: package net.loonggg.listview; import java.util.Date; import android.content.Context; import android.util.

  • Symfony数据校验方法实例分析

    本文实例讲述了Symfony数据校验方法.分享给大家供大家参考.具体分析如下: 校验在web应用程序中是一个常见的任务.数据输入到表单需要被校验.数据在被写入数据库之前或者传入一个webservice时也需要被校验. Symfony2 配备了一个Validator 组件,它让校验工作变得简单易懂.该组件是基于JSR303 Bean校验规范.一个Java规范用在PHP中. 基本验证 理解校验的最好方法是看它的表现.首先,假设你已经创建了一个用于你应用程序某个地方的PHP对象. 复制代码 代码如下:

随机推荐