Django celery实现异步任务操作,并在后台运行(守护进程)

没废话,直接上代码。

环境说明:

python3.6

django2.0.5

我们使用redis的作为celery任务队列,有一个合成包可以直接安装两者一起使用需要的安装包

直接在终端键入

pip install celery-with-redis

就可以安装需要的依赖包了

构建项目过程略过,直接开始进行celery配置

一、celery配置。

我们的项目名称为myproject,首先setting配置,添加

# celery settings
# celery中间人 redis://redis服务所在的ip地址:端口/数据库号
BROKER_URL = 'redis://localhost:6379/3'
# celery结果返回,可用于跟踪结果
CELERY_RESULT_BACKEND = 'redis://localhost:6379/3'

# celery内容等消息的格式设置
CELERY_ACCEPT_CONTENT = ['application/json', ]
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'

# celery时区设置,使用settings中TIME_ZONE同样的时区
CELERY_TIMEZONE = TIME_ZONE

然后在PATH/myproject/myproject/即setting的同级目录下创建celery.py,初始化celery。

from __future__ import absolute_import, unicode_literals

from celery import Celery
from django.conf import settings
import os

# 获取当前文件夹名,即为该Django的项目名
project_name = os.path.split(os.path.abspath('.'))[-1]
project_settings = '%s.settings' % project_name

# 设置环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', project_settings)

# 实例化Celery
app = Celery(project_name)

# 使用django的settings文件配置celery
app.config_from_object('django.conf:settings')

# Celery加载所有注册的应用
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

这里第一行输入不能换位置,只能在首行,否则会报错。

这里的实例化celery的app我们在别处要导入,为了方便导入,我们把它放到__init__.py里,所以在/myproject/myproject/__init__.py我们加入

from __future__ import absolute_import, unicode_literals

# 引入celery实例对象
from .celery import app as celery_app

这样同时也能告知django celery.py文件的存在。

二、用celery装饰我们的需要进行的异步函数。

我们在项目根目录下创建celery_tasks模块,即在PATH/myproject/下创建该模块,然后在该模块下创建tasks.py,把我们的耗时程序写进去。

from myproject import celery_app
import time

@celery_app.task
def time_consuming_fun():
  for i in range(5):
    time.sleep(1)
    print(i)
  return 'ok'

直接用我们的celery_app下的task方法装饰需要进行异步处理的函数即可。

三、调用异步函数。

在view中调用,这里用的是Django的类视图。

from celery_tasks.tasks import time_consuming_fun
from django.views import View
from django.http import JsonResponse

# Create your views here.

class MyView(View):
  def get(self,request):
    #异步调用
    time_consuming_fun.delay()
    #直接调用
    #time_consuming_fun()
    return JsonResponse({'msg':'ok','code':200})

配置好url即可。

四、启动celery。

在项目根目录下,即managy同级文件目录下,输入命令:

celery -A myproject worker -l info

此时celery在终端窗口运行,关闭终端celery就会停止。

输入命令

celery multi start w1 -A myproject -l info --logfile = celerylog.log --pidfile = celerypid.pid

此时celery为守护进程,日志记录在celerylog.log里。

日志文件可以指定路径PATH/celerylog.log,此时会在指定路径下创建日志文件。进程号文件类似。

停止或重启将开始换为stop或restart即可,所以需记录w1,即需记录woker的名称来方便重启和停止。

补充:Django项目后台不挂断运行

方法一:

1、进入项目目录下,运行下面程序:

nohup python manage.py runserver 0.0.0.0:5008 &

nohup(no hang up)用途:不挂断的运行命令

&用途:在后台运行

nohup /root/start.sh &

在shell中回车后提示:

[~]$ appending output to nohup.out  

原程序的的标准输出被自动改向到当前目录下的nohup.out文件,起到了log的作用。

注意:在nohup执行成功后直接点击关闭程序按钮关闭终端,会断掉该命令对应的session,导致nohup对应的进程被通知一起shutdown。所以在使用nohup命令后台运行命令之后,需要使用exit正常退出当前账户,这样才能保证命令一直在后台运行。

方法二:这个比较高级,使用screen

1、安装screen

yum install -y screen

2、新建一个screen

screen -S xiedi

这样会新开一个窗口,然后执行命令即可

python manage.py runserver 0.0.0.0:9000

3、重开一个窗口,列出所有screen进程,如下

[root@docker ~]# screen -ls
There are screens on:
    3029.xiedi  (Attached)

4、如果想链接上这个会话,执行命令即可

screen -r 3029

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

(0)

相关推荐

  • Django中使用Celery的方法步骤

    (一).概述 Celery是一个简单.灵活和可靠的基于多任务的分布式系统,为运营提供用于维护此系统的工具.专注于实时处理的任务队列,同时也支持任务的调度.执行单元为任务(task),利用多线程这些任务可以被并发的在单个或多个职程(worker)上运行. Celery通过消息机制通信,通常通过中间人(broker)来分配和调节客户端与职程服务器(worker)之间的通信.客户端发送一条消息,中间人把消息分配给一个职程,最后由职程来负责执行此任务. Celery可以有多个职程和中间人,这样提高了高可

  • Django-celery-beat动态添加周期性任务实现过程解析

    前期准备 1.beat插件安装 pip3 install django-celery-beat 2.注册APP INSTALLED_APPS = [ .... 'django_celery_beat', ] 3.数据库变更 python3 manage.py migrate django_celery_beat 配置工作 目录结构请参考://www.jb51.net/article/200659.htm 1.配置celerypro.py from __future__ import absolu

  • Django celery异步任务实现代码示例

    最近项目中用到celery很多,Django快速接入celery,这里给份教程. 准备 pip安装celery.flower.eventlet 快速接入 1.项目目录的__init__文件 from __future__ import absolute_import # This will make sure the app is always imported when # Django starts so that shared_task will use this app. from .c

  • Django+Django-Celery+Celery的整合实战

    本篇文章主要是由于计划使用django写一个计划任务出来,可以定时的轮换值班人员名称或者定时执行脚本等功能,百度无数坑之后,终于可以凑合把这套东西部署上.本人英文不好,英文好或者希望深入学习或使用的人,建议去参考官方文档,而且本篇的记录不一定正确,仅仅实现crontab 的功能而已. 希望深入学习的人可以参考http://docs.jinkan.org/docs/celery/. 首先简单介绍一下,Celery 是一个强大的分布式任务队列,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主

  • Django+Celery实现动态配置定时任务的方法示例

    哈喽,今天给大家分享一篇Django+Celery实现动态配置定时任务,因为最近也是无意间看到一位大佬关于这块的文章,然后自己觉得不错,也想学习写一下,然后最终实现功能是在前端页面统一管理计划任务,大家可以在admin管理页面设置,也可以在自己写的前端页面删除添加编辑,实时生效,还可以监控这些监控任务是否运行成功失败. 补充:如果大家对celery不熟悉的话,建议先学习celery 一.安装 1.在Linux系统上安装模块 celery (3.1.26.post2) celery-with-re

  • 详解Django中异步任务之django-celery

    Celery文档参考:http://docs.jinkan.org/docs/celery/ 参考文章:https://www.jb51.net/article/158046.htm Django中异步任务---django-celery Celery简单介绍: celery使用场景: 耗时任务定时任务 请求结果不怎么重要的 耗时任务比如:发送短信验证码我们可以先发送给客户任务状态(请求成功或失败) 请求结果重要的建议使用django实现 比如:支付 首先简单介绍一下,Celery 是一个强大的

  • Django celery实现异步任务操作,并在后台运行(守护进程)

    没废话,直接上代码. 环境说明: python3.6 django2.0.5 我们使用redis的作为celery任务队列,有一个合成包可以直接安装两者一起使用需要的安装包 直接在终端键入 pip install celery-with-redis 就可以安装需要的依赖包了 构建项目过程略过,直接开始进行celery配置 一.celery配置. 我们的项目名称为myproject,首先setting配置,添加 # celery settings # celery中间人 redis://redis

  • Django中使用celery完成异步任务的示例代码

    本文主要介绍如何在django中用celery完成异步任务,web项目中为了提高用户体验可以对一些耗时操作放到异步队列中去执行,例如激活邮件,后台计算操作等等 当前项目环境为: django==1.11.8 celery==3.1.25 redis==2.10.6 pip==9.0.1 python3==3.5.2 django-celery==3.1.17 一,创建Django项目及celery配置 1,创建Django项目 1>打开终端输入:django-admin startproject

  • Django集成celery发送异步邮件实例

    安装依赖 pip install django-celery-beat pip install django-celery-email pip install celery pip install msgpack-python pip install msgpack 在settings文件中配置 添加app应用到installed_apps中 "djcelery_email", "django_celery_beat" 修改.env文件配置: #邮箱后端,使用cel

  • Django+Celery实现定时任务的示例

    目录 一.前言 二.配置使用 定义与触发任务 扩展 三.Django中使用定时任务 二次开发 一.前言 Celery是一个基于python开发的分布式任务队列,而做python WEB开发最为流行的框架莫属Django,但是Django的请求处理过程都是同步的无法实现异步任务,若要实现异步任务处理需要通过其他方式(前端的一般解决方案是ajax操作),而后台Celery就是不错的选择.倘若一个用户在执行某些操作需要等待很久才返回,这大大降低了网站的吞吐量. ​另一方面,当我们需要处理一些定时任务时

  • python使用celery实现异步任务执行的例子

    使用celery在django项目中实现异步发送短信 在项目的目录下创建celery_tasks用于保存celery异步任务. 在celery_tasks目录下创建config.py文件,用于保存celery的配置信息 ```broker_url = "redis://127.0.0.1/14"``` 在celery_tasks目录下创建main.py文件,用于作为celery的启动文件 from celery import Celery # 为celery使用django配置文件进行

  • python基于celery实现异步任务周期任务定时任务

    这篇文章主要介绍了python基于celery实现异步任务周期任务定时任务,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 hello, 小伙伴们, 好久不更新了,这一次带来的是celery在python中的应用以及设置异步任务周期任务和定时任务的步骤,希望能给入坑的你带来些许帮助. 首先是对celery的介绍,Celery其实是一个专注于实时处理和调度任务的分布式任务队列,同时提供操作和维护分布式系统所需要的全部数据, 因此可以用它提供的接口快

  • Django+mysql配置与简单操作数据库实例代码

     第一步:下载mysql驱动 cmd进入创建好的django项目目录:使用命令 pip install mysqlclient 等待安装成功! 第二步:在settings.py中配置mysql连接参数(没有mysql的先装mysql) DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': '数据库名(你得先在mysql中创建数据库)', 'USER':'mysql用户名(如root)', 'PASSWOR

  • jquery登录的异步验证操作示例

    本文实例讲述了jquery登录的异步验证操作.分享给大家供大家参考,具体如下: //定义一个json var validate = { username : false, pwd : false, pwded : false, verify : false, loginUsername : false, loginPwd :false } //存储错误信息 var $msg = ""; //验证注册表单 $(function(){ //获取表单对象 var register = $('

  • Django框架使用mysql视图操作示例

    本文实例讲述了Django框架使用mysql视图操作.分享给大家供大家参考,具体如下: 一.Mysql视图的创建 MySQL中,在两个或者以上的基本表上创建视图,例如:在StudentOrm表和InfoOrm表上,创建mysql_view_test_orm视图 1.首先,创建两张表 from django.db import models # Create your models here. class StudentOrm(models.Model): name = models.CharFi

随机推荐