Laravel 队列使用的实现

1 环境

Laravel是一种类似ThinkPHP的php框架,封装的诸多功能可以很方便的使用。队列Queue便是其中之一。

Windows环境下,可使用PHPstorm作为Laravel的集成开发环境IDE。

2 队列

Laravel可配置多种队列驱动,包括 "sync", "database", "beanstalkd", "sqs", "redis", "null"(具体参见app/config/queue.php)
其中sync为同步,database为使用数据库,后面三种为第三方队列服务,最后一种为不使用队列。

通过在 .env 中的 QUEUE_CONNECTION 选项,来决定选择何种驱动。

如 QUEUE_CONNECTION=database 即为选择数据库驱动队列。

3 原理

所谓队列,会有数据的生产者和消费者之分。生产者向队列中投递数据,消费者从队列中获取数据。

比如向用户发送邮件的场景:现在有10w封邮件需要发送,最简单的,我们需要有一个方法将邮件的收件人、内容等,拆分成10w条任务放在队列中,同时需要设置一个回调方法负责处理每条任务。当队列中有邮件发送任务时,队列会主动调用回调方法,并传递任务详情进去。回调方法处理完成后,单条邮件即发送完毕。其他邮件依样处理。

4 使用数据库驱动队列

4.1 生成任务表

在终端下输入

php artisan queue:table
php artisan migrate

在数据库连接正常的情况下,会在数据库中出现jobs表:

 [id] bigint
 [queue] nvarchar(255)
 [payload] nvarchar(max)
 [attempts] tinyint
 [reserved_at] int
 [available_at] int
 [created_at] int

4.2 创建任务类

php artisan make:job SendEmail

在终端内执行上述命令,会自动生成 app/Jobs/SendMail.php 文件

class SendMail implements ShouldQueue

在该文件的handle方法中,可以放置任务处理逻辑。

4.3 发送任务

在任意位置,均可像下面一样调用 dispatch 发送任务

SendMail::dispatch($email);

4.4 驱动队列

完成上述步骤后,可以在数据库中发现一条记录(导出为insert SQL语句):

代码如下:

INSERT INTO [jobs]([id], [queue], [payload], [attempts], [reserved_at], [available_at], [created_at]) VALUES (6, N'default', N'{"displayName":"App\\Jobs\\ProcessPodcast","job":"Illuminate\\Queue\\CallQueuedHandler@call","maxTries":null,"timeout":null,"timeoutAt":null,"data":{"commandName":"App\\Jobs\\ProcessPodcast","command":"O:23:\"App\\Jobs\\ProcessPodcast\":8:{s:29:\"\u0000App\\Jobs\\ProcessPodcast\u0000data\";s:6:\"111222\";s:6:\"\u0000*\u0000job\";N;s:10:\"connection\";N;s:5:\"queue\";N;s:15:\"chainConnection\";N;s:10:\"chainQueue\";N;s:5:\"delay\";N;s:7:\"chained\";a:0:{}}"}}', 0, NULL, 1545980176, 1545980176);

此时任务已经放置在数据库内,只有将队列运行起来后,队列才能主动调用回调方法。

php artisan queue:work

在终端内运行上述命令即可。该命令还有诸多参数,如deamon、tries等,可根据需要指定。

4.5 守护进程

为了保证应用服务的稳定性,需要开启守护进程。

Linux下,一般使用 Supervisor ,Windows下使用 Forever

4.6 执行失败的处理

对于处理失败的任务,Laravel也提供的解决方案。通过运行如下命令,即可创建表以记录失败任务。

php artisan queue:failed-table
php artisan migrate

在数据库中即生成 failed_jobs :

 [id] bigint
 [connection] nvarchar(max)
 [queue] nvarchar(max)
 [payload] nvarchar(max)
 [exception] nvarchar(max)
 [failed_at] datetime

导致任务失败的 Exception 会被传递到 SendMail 的 failed 方法,因而你需要在SendMail中自行实现该方法,并做进一步处理。

任务执行失败的原因有很多,如传参错误、尝试次数超过限制、超时、甚至在 handle 方法中抛出异常,均会作为失败任务处理。

4.7 任务执行前后的处理

Laravel提供了任务执行前后的处理入口,即在 App/Providers/AppServiceProvider 中的 boot() 中加入如下代码:

public function boot()
{
   Queue::before( function (JobProcessing $event) {
     Log::info("处理任务前");
   });
   Queue::after( function (JobProcessed $event) {
     Log::info("处理任务后");
   });
}

传递的 $event 中,带有任务详情,几个简单的例子:

$event->connectionName
$event->job
$event->job->payload()

5 使用 Redis 驱动队列

5.1 Laravel 安装 Predis 包

在 Laravel 中使用 Redis 之前,需要通过 Composer 安装 predis/predis 包:

composer require predis/predis

上述拓展是帮助Laravel与Redis打交道的,我们现在还缺少Redis服务。

如果此时将 .env 中的 QUEUE_CONNECTION 改为 redis,访问时会报错:

Predis \ Connection \ ConnectionException (10061)
����Ŀ����������ܾ����޷����ӡ� [tcp://127.0.0.1:6379]

5.2 配置 Redis 服务

Redis官网 下载源码后自行编译即可。

官方并未提供Windows版,Redis的Windows版式由微软工作组维护的,你可以从其GitHub页 找到。不过貌似已经不再维护了,最新的版本是16年发布的3.2.100。

Linux下通过简单的运行

./redis-server

即可开启服务,再通过

./redis-cli

来尝试使用Redis。使用也很简单,就是 set key value 和 get key。
Windows下安装后,在命令行中 cd 到安装目录

C:\Program Files\Redis>redis-server redis.windows.conf
C:\Program Files\Redis>netstat -an|find "6379"
 TCP  127.0.0.1:6379     0.0.0.0:0       LISTENING

即可开启Redis服务。

Redis服务的停止是通过如下命令:

C:\Program Files\Redis>redis-server --service-stop

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • Laravel框架队列原理与用法分析

    本文实例讲述了Laravel框架队列原理与用法.分享给大家供大家参考,具体如下: 最近有朋友有朋友问laravel队列的实现原理和经验,刚好用过所以整理了一下分享给大家. laravel队列配置参见:http://d.laravel-china.org/docs/5.1/queues 原理分析 创建分发任务方法 class TestController extends Controller { //其他方法 //发送消息 public function SendMessage(Request $

  • 关于 Laravel Redis 多个进程同时取队列问题详解

    前言 最近在工作中遇到了一个问题,开启多个进程处理队列会重复读取 Redis 中队列吗?是否因此导致重复执行任务?下面就来通过示例代码详细介绍下. 使用 Supervisor 监听 Laravel 队列任务,其中 Supervisor 的配置如下: [program:laravel-worker] process_name=%(program_name)s_%(process_num)02d command=php /var/www/xxx.cn/artisan queue:work --que

  • 浅谈Laravel队列实现原理解决问题记录

    问题 公司项目使用Laravel的开发的两个项目在同一个测试服务器部署,公用同一个redis.在使用laravel中的队列时,产生冲突干扰. 查找问题原因 在laravel 队列的操作类Illuminate\Queue\RedisQueue.php中可以看到pushRaw()方法: // 将一任务推入队列中 public function pushRaw($payload, $queue = null, array $options = []) { $this->getConnection()-

  • Laravel使用消息队列需要注意的一些问题

    前言 消息队列对于大型的Web项目来说是必不可少的一个模块,通过消息队列可以解决大并发和多种语言通信接口等问题.对于大并发的问题,可以将耗时的任务或者不能同时大量并行的任务封装起来传输到消息队列中,由处理程序不断从消息队列中提取消息并进行处理,这样通过消息队列的缓冲可以使得在大并发情况下不再阻塞,如果性能不够用还可以添加多个处理任务从消息队列中获取消息进行处理.比如数据库的操作,当对数据库的读.写操作过多时就会存在锁表等问题,读的问题可以通过缓存等方案解决,写的问题就需要消息队列来解决.而且,在

  • Laravel中利用队列发送邮件的方法示例

    前言 本文主要给大家介绍了关于Laravel中队列发送邮件的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 批量处理任务的场景在我们开发中是经常使用的,比如邮件群发,消息通知,短信,秒杀等等,我们需要将这个耗时的操作放在队列中来处理,从而大幅度缩短Web请求和相应的时间.下面讲解下Laravel中队列的使用 1.配置文件 config/queue.php <?php return [ 'default' => env('QUEUE_DRIVER', 'sync'),

  • 浅析Laravel5中队列的配置及使用

    前言 队列常常用于两种场景,一种是高并发的情况,一种是耗时的操作,可以将任务放到队列中去,消费者从队列取任务执行,当然还有失败的情况如何处理,以及延迟,重试,更复杂的情况还有优先级的实现. 在Laravel 5中使用队列非常简单,并且失败处理,延迟,重试的方法都已经实现,下面简单尝试了一下Laravel的队列服务. Laravel默认支持以下几种队列服务:sync, database, beanstalkd, sqs, redis,本例使用redis作为队列服务,需先配置好Redis服务. 1.

  • Laravel 4.2 中队列服务(queue)使用感受

    这半个月,我参与重写了一个微信公众号后端系统,首次使用了laravel 4.2,以及laravel引以为傲的队列服务(queue). 由于整个系统涉及到多端交互,又有大量语音传输.处理的业务,我们在一些地方发现响应时间过长.之前的系统基于node.js和mongoDB,由于node天生就是异步,有守护进程,所以并没有出现过这个问题,而这次重写必然要引入异步流程了.Queue进入了我们的视线. 根据这一页几乎还全是英文的"中文文档" ,laravel恰好在4.2版本中刚刚引入了redis

  • 源码分析 Laravel 重复执行同一个队列任务的原因

    前言 laravel 的队列服务对各种不同的后台队列服务提供了统一的 API.队列允许你延迟执行消耗时间的任务,比如发送一封邮件.这样可以有效的降低请求响应的时间. 发现问题 在 Laravel 中使用 Redis 处理队列任务,框架提供的功能非常强大,但是最近遇到一个问题,就是发现一个任务被多次执行,这是为什么呢? 先说原因: 因为在 Laravel 中如果一个队列(任务)执行时间大于 60 秒,就会被认为执行失败并重新加入队列中,这样就会导致重复执行同一个任务. 这个任务的逻辑就是给用户推送

  • PHP的Laravel框架中使用消息队列queue及异步队列的方法

    queue配置 首先说明一下我之前的项目中如何使用queue的. 我们现在的项目都是用的symfony,老一点的项目用的symfony1.4,新一点的项目用的都是symfony2.symfony用起来整体感觉还是很爽的,尤其symfony2,整体上来讲使用了很多java里面框架的设计思想.但是他不支持queue.在symfony,我们使用queue也经历了几个过程.最开始使用张堰同学的httpsqs.这个简单使用,但是存在单点.毕竟我们的项目还是正式对外服务的,所以我们研究了Apache旗下的开

  • Laravel中为什么不使用blpop取队列详析

    前言 Redis 的 list 数据结构常用来做消息队列,通常使用的命令有 lpop/rpop ,还有带阻塞版的 blpop/brpop 等.Laravel 5.3 消息队列也是用的 lpop 取消息,为什么不用阻塞版的 blpop 呢? blpop 不用一直轮询,还可以同时取多个队列,blpop high low 30,更方便实现队列的优先级. 安全队列和不安全队列 什么是不安全的队列?比如客户端 lpop(统一以 lpop 为例) 从 redis 取出来的 job(任务)还没处理完进程挂掉了

随机推荐