celery笔记二之建立celery项目、配置及几种加载方式
2023/6/3 1:22:13
本文主要是介绍celery笔记二之建立celery项目、配置及几种加载方式,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
本文首发于公众号:Hunter后端
原文链接:celery笔记二之建立celery项目、配置及几种加载方式
接下来我们创建一个 celery 项目,文件夹及目录如下:
proj/__init__.py /celery.py /tasks1.py /tasks2.py
接下来我们逐个文件向里面添加内容。
1、项目文件内容及介绍
我们建立了一个名为 proj 的文件夹作为我们的项目文件夹,其下有两个文件,celery.py 和 tasks.py
celery.py
其中 celery.py 内容为 celery 实例化以及一些基础配置,文件内容如下:
from celery import Celery app = Celery('proj', broker='redis://localhost/0', backend='redis://localhost/1', include=['proj.tasks1', 'proj.tasks2']) app.conf.update( result_expires=60 ) if __name__ == '__main__': app.start()
在这里,我们还是对 celery 进行了实例化的操作,但是在这里项目名称改为了 proj,也就是这个文件的上一级文件夹名称
broker、backend 还是对应的配置
但是因为对应的任务我们是单独以文件的形式引入,所以,在这里引入的方式是通过 include 的方式来实现的
app.conf.update() 是对 celery 配置的补充,这里只加了一个参数,表示是对系统对结果的留存时间。
另外几种配置方式我们放在下面详讲。
接着 app.start() 就是项目的启动。
tasks.py
在这里我们将 task 作为两部分拆解,分别放在两个文件下,内容分别如下
#tasks1.py from .celery import app @app.task def add(x, y): return x + y
#tasks2.py from .celery import app @app.task def mul(x, y): return x * y
启动服务,在 proj 所在的文件夹,执行下面的命令:
celery -A proj worker -l INFO
运行延时任务
在 proj 同级的文件夹下执行 python3,进入 python 的交互界面:
from proj.tasks1 import add add.delay(1, 2)
2、celery配置的几种方式
在上面的 celery 的配置方式,是一部分写在 celery 的实例化过程中,另一部分是通过 app.conf.update() 的方式写入
这里介绍一下,celery 的配置还可以通过类的方式来写入,或者把所有变量都写入一个文件,通过引入文件的形式来引入变量。
不管是以类的方式还是文件的形式都会使用到一个方法:config_from_object(),参数为需要引入的变量
类的方式加载配置
下面是一个类的方式引入的示例:
# celery.py from celery import Celery app = Celery() class Config: include = ['proj.tasks1', 'proj.tasks2'] broker_url = 'redis://localhost:6379/0' result_backend = 'redis://localhost:6379/1' app.config_from_object(Config) if __name__ == '__main__': app.start()
这里需要注意的是在 Config 中的 broker_url 和 result_backend 与直接实例化 Celery 时写入的参数名称是不一样的
文件的形式加载配置
接下来我们在 proj 的文件夹中新建一个文件 celeryconfig.py,那么 proj 文件夹下的文件配置则如下:
proj/__init__.py /celery.py /celeryconfig.py /tasks1.py /tasks2.py
配置文件内容:
# celeryconfig.py broker_url = 'redis://localhost/0' result_backend = 'redis://localhost/1' include = ['proj.tasks1', 'proj.tasks2']
celery 文件内容:
# celery.py from celery import Celery from . import celeryconfig app = Celery() app.config_from_object(celeryconfig) if __name__ == '__main__': app.start()
无论是把配置写入 Config 类中,还是写入文件,这里的思想都是将配置集中处理,在一处管理所有的配置内容。
注意:
在这里我们引入配置的方式都是 config_from_object(),我们之前还介绍过一个更新配置的方式是 app.conf.update()
这里要说明的是,只要运行了 config_from_object() 函数,在此之前的变量都会被覆盖失效,如果我们要新增 celeryconfig 之外的配置,则需要在调用 config_from_object() 函数之后调用,比如:
app = Celery() app.conf.update(result_expires=60) # 在 config_from_config() 之前调用,会失效 app.config_from_object(celeryconfig) app.conf.update(result_expires=30) # 这个配置会生效
还有一种引入配置的方式是在 Django 系统中,将 Celery 相关的变量都写入 settings.py,然后通过 namespace 的方式引入到 Celery 中进行实例化处理。
这个方式我们在介绍 celery 与 Django 结合的时候再做介绍。
3、一些基本配置
设置时区
比如我们设置北京时间:
app.conf.update( enable_utc=False, timezone='Asia/Shanghai', )
broker 和 result_backend 设置
设置 broker 和 result_backend 的地址:
app.conf.update( broker_url = 'redis://localhost:6379/0' result_backend = 'redis://localhost:6379/1' )
如果是 broker 和 backend 加密码的配置,则是如下:
app.conf.update( broker_url = 'redis://:123456@localhost:6380/0' result_backend = 'redis://:123456@localhost:6380/1' )
其中,123456 是密码。
如果是用 docker 启动一个带密码的 redis,命令如下:
docker run -d --name redis_pwd -p6380:6379 redis:latest --requirepass 123456
此外还有一些任务队列 queue、默认队列、任务路由配置、定时任务的设置,在后面介绍到的时候再一一介绍。
下一篇笔记将介绍 task 和 task 的调用。
如果想获取更多后端相关文章,可扫码关注阅读:
这篇关于celery笔记二之建立celery项目、配置及几种加载方式的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-24怎么切换 Git 项目的远程仓库地址?-icode9专业技术文章分享
- 2024-12-24怎么更改 Git 远程仓库的名称?-icode9专业技术文章分享
- 2024-12-24更改 Git 本地分支关联的远程分支是什么命令?-icode9专业技术文章分享
- 2024-12-24uniapp 连接之后会被立马断开是什么原因?-icode9专业技术文章分享
- 2024-12-24cdn 路径可以指定规则映射吗?-icode9专业技术文章分享
- 2024-12-24CAP:Serverless?+AI?让应用开发更简单
- 2024-12-23新能源车企如何通过CRM工具优化客户关系管理,增强客户忠诚度与品牌影响力
- 2024-12-23原创tauri2.1+vite6.0+rust+arco客户端os平台系统|tauri2+rust桌面os管理
- 2024-12-23DevExpress 怎么实现右键菜单(Context Menu)显示中文?-icode9专业技术文章分享
- 2024-12-22怎么通过控制台去看我的页面渲染的内容在哪个文件中呢-icode9专业技术文章分享