微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

PYTHON分布式任务系统GEARMAN解析

对python这个高级语言感兴趣的小伙伴,下面一起跟随编程之家 jb51.cc的小编两巴掌来看看吧!

了解Gearman,请访问gearman官网:http://gearman.org/index.PHP?id=getting_started

Gearman for Python API Doc: http://pythonhosted.org/gearman/

安装Gearman:

基础依赖库:

yum install boost-devel libevent-devel sqlite-devel libuuid-devel
wget https://launchpad.net/gearmand/trunk/0.33/+download/gearmand-0.33.tar.gz  
tar xzvf gearmand-0.33.tar.gz  
cd gearmand-0.33  
./configure 
make 
make install

安装Gearman Python客户端

wget http://pypi.python.org/packages/source/g/gearman/gearman-2.0.2.tar.gz#md5=3847f15b763dc680bc672a610b77c7a7  
    tar xvzf  gearman-2.0.2.tar.gz  
    python setup.py install

获取直接用自动安装: easy_install gearman

启动服务:gearmand -d

启动Worker:gearman -w -f wc -- wc -l &

-w 代表启动的是worker,-f wc 代表启动一个task名字为wc, -- wc -l表示这个task是做wc -l 统计行数

启动Client:gearman -f wc < /etc/passwd

python work代码

# @param 分布式任务系统GEARMAN FOR PYTHON初探
# @author 编程之家 jb51.cc|512Pic.com 

import os  
import gearman  
import math        
class MyGearmanWorker(gearman.GearmanWorker):    
    def on_job_execute(self,current_job):    
        print "Job started"  
        return super(MyGearmanWorker,self).on_job_execute(current_job)    
    
def task_callback(gearman_worker,gearman_job):    
    print gearman_job.data   
    return gearman_job.data  
    
my_worker = MyGearmanWorker(['192.168.0.75:4730'])    
my_worker.register_task("echo",task_callback)    
my_worker.work()

# End www.jb51.cc

python client代码

# @param 分布式任务系统GEARMAN FOR PYTHON初探
# @author 编程之家 jb51.cc|512Pic.com 

from gearman import GearmanClient        
gearman_client = GearmanClient(['192.168.0.75:4730'])  
gearman_request = gearman_client.submit_job('echo','foo')  
result_data = gearman_request.result  
print result_data

# End www.jb51.cc

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


我最近重新拾起了计算机视觉,借助Python的opencv还有face_recognition库写了个简单的图像识别demo,额外定制了一些内容,原本想打包成exe然后发给朋友,不过在这当中遇到了许多小问题,都解决了,记录一下踩过的坑。 1、Pyinstaller打包过程当中出现warning,跟d
说到Pooling,相信学习过CNN的朋友们都不会感到陌生。Pooling在中文当中的意思是“池化”,在神经网络当中非常常见,通常用的比较多的一种是Max Pooling,具体操作如下图: 结合图像理解,相信你也会大概明白其中的本意。不过Pooling并不是只可以选取2x2的窗口大小,即便是3x3,
记得大一学Python的时候,有一个题目是判断一个数是否是复数。当时觉得比较复杂不好写,就琢磨了一个偷懒的好办法,用异常处理的手段便可以大大程度帮助你简短代码(偷懒)。以下是判断整数和复数的两段小代码: 相信看到这里,你也有所顿悟,能拓展出更多有意思的方法~
文章目录 3 直方图Histogramplot1. 基本直方图的绘制 Basic histogram2. 数据分布与密度信息显示 Control rug and density on seaborn histogram3. 带箱形图的直方图 Histogram with a boxplot on t
文章目录 5 小提琴图Violinplot1. 基础小提琴图绘制 Basic violinplot2. 小提琴图样式自定义 Custom seaborn violinplot3. 小提琴图颜色自定义 Control color of seaborn violinplot4. 分组小提琴图 Group
文章目录 4 核密度图Densityplot1. 基础核密度图绘制 Basic density plot2. 核密度图的区间控制 Control bandwidth of density plot3. 多个变量的核密度图绘制 Density plot of several variables4. 边
首先 import tensorflow as tf tf.argmax(tenso,n)函数会返回tensor中参数指定的维度中的最大值的索引或者向量。当tensor为矩阵返回向量,tensor为向量返回索引号。其中n表示具体参数的维度。 以实际例子为说明: import tensorflow a
seaborn学习笔记章节 seaborn是一个基于matplotlib的Python数据可视化库。seaborn是matplotlib的高级封装,可以绘制有吸引力且信息丰富的统计图形。相对于matplotlib,seaborn语法更简洁,两者关系类似于numpy和pandas之间的关系,seabo
Python ConfigParser教程显示了如何使用ConfigParser在Python中使用配置文件。 文章目录 1 介绍1.1 Python ConfigParser读取文件1.2 Python ConfigParser中的节1.3 Python ConfigParser从字符串中读取数据
1. 处理Excel 电子表格笔记(第12章)(代码下载) 本文主要介绍openpyxl 的2.5.12版处理excel电子表格,原书是2.1.4 版,OpenPyXL 团队会经常发布新版本。不过不用担心,新版本应该在相当长的时间内向后兼容。如果你有新版本,想看看它提供了什么新功能,可以查看Open