Python的一些用于抓取的方法封装

下面是编程之家 jb51.cc 通过网络收集整理的代码片段。

编程之家小编现在分享给大家，也给大家做个参考。

#!/usr/bin/env python
#-*- coding:utf-8-*-

import urllib2
import re
import hashlib
import json

#--------------------------------------------------- 工具 start
def md5(str):
    '''
    计算MD5值
    '''
    m = hashlib.md5()   
    m.update(str)
    return m.hexdigest()

def search(regex,content,group = 1):
    '''
    搜索指定正则匹配的内容
    '''
    pattern = re.search(regex,re.DOTALL)
    if(pattern != None):
        return pattern.group(group)
    return ''

def findall(regex,content):
    '''
    查找指定正则匹配的所有内容
    '''
    return re.findall(regex,re.DOTALL)

def cleanHtmlTag(content):
    '''
    清理HTML标签
    '''
    return content or re.sub(r'<[^>]*?>','',content).strip()

def cleanedSearch(regex,group = 1):
    '''
    查找匹配的指定字符串并清除HTML标签
    '''
    return cleanHtmlTag(search(regex,group))

def httpGet(url,encoding='gbk'):
    '''
    发送Http GET请求，返回内容
    '''
    return urllib2.urlopen(url).read().decode(encoding,'ignore').encode('utf-8')

def toJson(dict):
    return json.dumps(dict,ensure_ascii=False,indent=4)

#--------------------------------------------------- 工具 end

以上是编程之家(jb51.cc)为你收集整理的全部代码内容，希望文章能够帮你解决所遇到的程序开发问题。

如果觉得编程之家网站内容还不错，欢迎将编程之家网站推荐给程序员好友。