码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【云原生 | 28】Docker运行分布式任务处理平台Celery


    作者简介:🏅云计算领域优质创作者🏅新星计划第三季python赛道第一名🏅 阿里云ACE认证高级工程师🏅
    ✒️个人主页:小鹏linux
    💊个人社区:小鹏linux(个人社区)欢迎您的加入!

    目录

    1. 关于Celery

    2.  Celery的架构图

    3. 在linux中安装 Celery

     4. 在windows安装Celery

      👑👑👑结束语👑👑👑


    1. 关于Celery

    Celery是一个简单、灵活、高可用、高性能的开源(BSD许可)分布式任务处理系统,专注于实时处理的任务队列管理,同时也支持任务调度。Celery基于Python实现,跟包括Django、Pyramid、Pylons、Flask、 Tornado等Web框架都无缝集成,有庞大的用户与贡献者社区。Celery可以单机运行,也可以在多台机器上运行,甚至可以跨越数据中心运行。

    Celery 官网:http://www.celeryproject.org/

    Celery 官方文档英文版:http://docs.celeryproject.org/en/latest/index.html

    Celery 官方文档中文版:http://docs.jinkan.org/docs/celery/

    Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统

    专注于实时处理的异步任务队列

    同时也支持任务调度

     Celery支持不同的并发和序列化的手段

    并发:Prefork, Eventlet, gevent, threads/single threaded
    序列化:pickle, json, yaml, msgpack. zlib, bzip2 compression, Cryptographic message signing 等等

    2.  Celery的架构图

    3. 在linux中安装 Celery

    通过pip安装

    1. # 本机Python环境为Python3.7.4
    2. pip install celery
    3. # 验证安装 查看版本
    4. celery --version
    5. ---console---
    6. 5.2.3 (dawn-chorus)

    使用redis作为backend和broker,需要本机安装redis,并启动redis-server,还需要安装Python第三方模块redis

    pip install redis
    

     4. 在windows安装Celery

    由于官方不支持windows安装和使用,需要借助Python第三方模块eventlet,此模块主要作用通过协程实现并发。

    1. pip install celery
    2. pip install eventlet
    3. # 验证安装 查看版本
    4. celery --version
    5. ---console---
    6. 5.2.3 (dawn-chorus)

     5. 在Docker中部署Celery

    启动一个celery worker,即RabbitMQ Broker:

    $ docker run --link some-rabbit:rabbit --name some-celery -d celery:latest

    检查集群状态:

    $ docker run --link some-rabbit:rabbit --rm celery celery status

    启动一个celery worker,即Redis Broker:

    $ docker run --link some-redis:redis -e CELERY_BROKER_URL=redis://redis --name some-celery -d celery

    检查集群状态:

    $ docker run --link some-redis:redis -e CELERY_BROKER_URL=redis://redis --rm celery celery status
    如果用户使用的框架已有Celery库,那么使用起来会更方便。
    下面是Python中调用Celery的hello world程序:
    1. from celery import Celery
    2. app = Celery('hello', broker='amqp://guest@localhost//')
    3. @app.task
    4. def hello():
    5. return 'hello world'

      👑👑👑结束语👑👑👑

  • 相关阅读:
    LeetCode(36)旋转图像【矩阵】【中等】
    通过DataEase行列权限设置实现数据权限管控
    红黑树你需要了解一下
    RedisStack部署/持久化/安全/与C#项目集成
    高并发场景下,6种方案,保证缓存和数据库的最终一致性!
    docker-推送镜像到私服库
    若依框架环境的搭建(前后端不分离版)
    山西电力市场日前价格预测【2023-10-05】
    python笔记--列表、字典、元组和集合
    win10系统的应用商店不见了怎么安装回来
  • 原文地址:https://blog.csdn.net/qq_62294245/article/details/126757731
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号