微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

Python网络爬虫与信息提取

分类：Python作者：编程之家AI导航网

文章目录

单元一 Requests库

HTTP协议及Requests库方法

requests库方法

HTTP协议：Hypertext Transfer Protocal，超文本传输协议，基于响应与请求、无状态的应用层协议

HTTP协议采用URL作为定位网络资源的标识

每个URL格式：http://host[:port][path]
host：一个合法的Internet主机域名或IP地址
port：端口号，缺省为80
path：请示资源的路径
URL通过HTTP协议存取资源的Internet路径，一个URL对应一个资源

HTTP协议方法：

HTTP协议方法

在这里插入图片描述

PATCH和PUT的区别：
若URL有一组数据UserInfo，包含UserID、UserName等20个字段，要修改UserName，其他不变，PATCH仅向URL提交UserName的局部更新请示，PUT必须要提交所有字段，未提交的字段被删除。所以PATCH方法可以节省带宽

在这里插入图片描述

Requests库的post()方法

payload = {'key1':'value1','key2':'value2'}
r = requests.post('http://httpbin.org/post',data = payload)
print(r.text)

键值对默认存到表单下

r = requests.post('http://httpbin.org/post',data = 'ABC')
print(r.text)

字符串自动编码为data
put()方法会覆盖原有的数据

Requests库get()方法

url = 某个网址
r = requests.get(url)

request()构造一个向服务器请求资源的Requests对象
Response返回一个包含服务器资源的Requests对象

requests.get(url,params=None,**kwargs)

url：拟获取页面的url链接
params：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数
Requests库共有7个常用方法，除了requests()方法为基础方法外，其他方法都是调用requests()方法

import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
type(r)
r.headers

状态码为200表示成功
Response对象的属性

在这里插入图片描述


在这里插入图片描述

import requests
r = requests.get("http://www.baidu.com")
r.status_code
r.encoding
r.apparent_encoding
r.encoding = 'utf-8'
r.text

如果header中不存在charset，encoding则认为编码为ISO-8859-1，它不能解析中文

Requests库的安装

cmd控制台：pip install requests

Requests主要方法

requests.request(method,url,**kwargs)

method：请求方法，如get/put/OPTIONS等7种
url：链接
**kwargs：控制访问参数，13个

r = requests.request('GET',url,**kwargs)
r = requests.request('HEAD',url,**kwargs)
r = requests.request('POST',url,**kwargs)
r = requests.request('PUT',url,**kwargs)
r = requests.request('PATCH',url,**kwargs)
r = requests.request('delete',url,**kwargs)
r = requests.request('OPTIONS',url,**kwargs)

**kwargs：
params：字典或字节序列，作为参数增加到url中

kv = {'key1':'value1','key2':'value2'}
r = requests.request('GET','http://python123.io/ws',params=kv)
print(r.url)

data：字典、字节序列或文件对象，作为Request的内容

kv = {'key1':'value1','key2':'value2'}
r = requests.request('GET','http://python123.io/ws',data=kv)
body ='主体内容'
r = requests.request('POST','http://python123.io/ws',data = body)

json：JSON格式的数据，作为Reuqest的内容

kv = {'key1':'value1'}
r = requests.request('POST','http://python123.io/ws',json= kv)

headers：字典，HTTP定制头

hd={'user-agent':'Chrome/10'}
r = requests.request('POST','http://python123.io/ws',headers= hd)

cookies：字典或CookieJar，Request中的cookie
auth：元组，支持HTTP认证
files：字典类型，传输文件

fs = {'file':open('data.xls', 'rb')}
r = requests.request('POST','http://python123.io/ws',files= fs)

timeout：设定超时时间，以秒为单位

r = requests.request('GET','http://python123.io/ws',timeout=10)

proxies：字典类型，设定访问代理服务器，可以增加登录认证

pxs = {'http':'http://user:pass@10.10.10.1:1234'
		'https':'https://10.10.10.1:4321'}
r = requests.request('GET','http://www.baidu.com',proxies=pxs)

allow_redirects：True/False，默认为True，重定向开关
stream：True/False，默认为True，获取内容立即下载开关
verify：True/False，默认为True，认证SSL证书开关
cert：本地SSL证书路径

requests.get(url,params=None,**kwargs)

**kwargs：12个参数，即request中除了params外的其他参数

requests.head(url,**kwargs)

**kwargs：13个参数

requests.post(url,data=None,json=None,**kwargs)

data：字典、字节序列或文件，Request的内容
json：JSON格式的数据，Request的内容
**kwargs：11个参数

requests.put(url,data=None,**kwargs)

data：字典、字节序列或文件，Request的内容
**kwargs：12个参数

requests.patch(url,data=None,**kwargs)

data：字典、字节序列或文件，Request的内容
**kwargs：12个参数

requests.delete(url,**kwargs)

**kwargs：13个参数

爬取网页的通用代码框架

Requests库的异常

在这里插入图片描述


在这里插入图片描述

import requests
def geHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

Robots协议

Robots Exclusion Standard 网络爬虫排除标准
robots.txt在网站的根目录下

*表示所有

disallow: /?*表示所有都不允许访问以?开头的路径

disallow:/pop/*.html表示所有都不允许访问pop下的所有html

User-agent:EtaoSpider
disallow: /
表示EtaoSpider不允许爬取任何内容

如果一个网址不提供robots协议，则默认允许所有爬虫爬取

robots协议遵守方式

robots协议是建议但非约束性，不遵守存在法律风险

类人行为可不参考Robots协议，访问量非常小，速度慢

网络爬虫引发的问题

小规模，可用requests库
中规模，数据规格大，速度敏感，可用Scrapy
爬取全网，如搜索引擎，定制开发

网络爬虫的骚扰，服务器崩溃

服务器上的数据有产权归属

爬虫泄露隐私

爬虫限制：
来源审查：判断User-agent
robots协议：告示牌

京东商品页面的爬取

import requests
url = "https://item.jd.com/2967929.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

百度/360搜索关键词提交

import requests
keyword = "Python"
try:
    kv = {'wd':keyword}
    r = requests.get("http://www.baidu.com/s",params =kv)
    print(r.requests.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

网络图片的爬取和存储

import requests
import os
url = "http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
root ="D://pics//"
path = root + url.split('/')[-1]
try:
    if not os.path.exists(roo):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("爬取失败")

IP地址归属地的自动查询

import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
    r = requests.get(url+'202.204.80.122')
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])
except:
    print("爬取失败")

BeautifulSoup库安装

cmd下，输入pip install beautifulsoup4

html的格式
<html>
<head></head>
<body>
<\body>
</html>

import requests
from bs4 import BeautifulSoup
r = requests.get("http://python123.io/ws/demo.html")
r.text
demo = r.text
soup = BeautifulSoup(demo,"html.parser")
print(soup.prettify())

Beautiful Soup库的基本元素

此库是解析、遍历、维护标签树的功能库

<p class=“title”>…</p>
名称是p
属性是class=“title”

解析器：

在这里插入图片描述


基本元素

在这里插入图片描述

from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,"html.parser")
soup.title
tag = soup.a
tag.attrs
tag.attrs['class']
tag.attrs['href']
type(tag.attrs)
type(tag)
soup.a.name
soup.a.parent.name
soup.a.parent.parent.name
soup.a.string
soup.p
soup.p.string
type(soup.p.string)
newsoup = BeautifulSoup("<b>--Tis is a comment</b><p>This is not a comment</p>","html.parser")
newsoup.b.string
type(newsoup.b.string)
newsoup.p.string
type(newsoup.p.string)

基于bs4库的HTML格式输出

from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,"html.parser")
soup.prettify()
print(soup.prettify())

基于bs4库的HTML内容遍历方法

在这里插入图片描述


标签树的下行遍历

在这里插入图片描述

soup = BeautifulSoup(demo,"html.parser")
soup.head
soup.head.contents
soup.body.contents
len(soup.body.contents)
soup.body.contents[1]

上行遍历

在这里插入图片描述

soup = BeautifulSoup(demo,"html.parser")
soup.title.parent
soup.html.parent
soup.parent

上行遍历

soup = BeautifulSoup(demo,"html.parser")
for parent in soup.a.parents:
	if parent is None:
		print(parent)
	else:
		print(parent.name)

平行遍历

在这里插入图片描述


平行遍历发生在同一父节点下的各节点间

soup = BeautifulSoup(demo,"html.parser")
soup.a.next_sibling
soup.a.next_sibling.next.sibling
soup.a.prevIoUs_sibling
soup.a.prevIoUs_sibling.prevIoUs_sibling
soup.a.parent

基于bs4库的HTML内容查找方法

<>.find_all(name,attrs,recursive,string,**kwargs)

返回一个列表类型，存储结果
name：对标签名称的检索字符串
attrs：对标签属性值的检索字符串，可标注属性检索
recursive：是否对子孙全部检索，默认是True
string：<>…</>中字符串区域的检索字符串

soup.find_all('a')
soup.find_all(['a','b'])

若只给True，则返回所有标签

for tag in soup.find_all(True):
	print(tag.name)

soup.find_all('p','course')

精准查找：

soup.find_all(id='link1')

模糊查找：正则表达式

soup.find_all(string = "Basic Python")

简写：
<tag>()等价于<tag>.find_all()

扩展方法

在这里插入图片描述

三种信息标记形式的比较

XML：eXtensible MarkuP Language
用<>标记
<name>…</name>

JSON：JavaScript Object Notation
用有类型键值对标记
“key”：“value”
“key”：[“value1”，“value2”]
“key”：{“value1”，“value2”}

YAML：YAML Ain’t MarkuP Language
无类型键值对标记
firstName：xxx
lastName：XXX

XML：有效信息占比不高，大部分信息被标签占用，可用于Internet
JSON：比XML简洁，用于移动端或程序，无法体现注释
YAML：有效信息利用率最高，用于系统配置文件，有注释

提取信息的一般方法

一：完整解析后再提取关键信息
二：无视标记形式，直接搜索关键信息

from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,"html.parser")
for link in soup.find_all('a'):
	print(link.get('href'))

中国大学排名定向爬虫

import requests
import bs4
from bs4 import BeautifulSoup

def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string])

def printUnivList(ulist, num):
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)

main()

Re库的match对象

Match对象是一次匹配的结果，有type(match)将返回<class ‘_sre.SRE_Mathc’>
Match对象的属性

在这里插入图片描述


Match对象的方法

在这里插入图片描述

import re
m = re.search(r'[1-9]\d{5}','BIT10081 TSU100084')
m.string
m.re
m.pos
m.endpos
m.group(0)
m.start()
m.end()
m.span()

Re库的基本使用

用于字符串匹配
raw string类型（原生字符串类型），表达为r’text’，它不包含转义符的字符串，比如\\仅用\表示

Re库主要功能函数

在这里插入图片描述

re.search(pattern,string,flags=0)

pattern：正则表达式字符串
string：待匹配的字符串
flags：正则表达式使用时的控制标记

在这里插入图片描述

import re
m = re.search(r'[1-9]\d{5}','BIT 10081')
if match:
	print(match.group(0))

re.match(pattern,string,flags=0)

import re
match = re.match(r'[1-9]\d{5}','BIT 10081')
if match:
	match.group(0)
match = re.match(r'[1-9]\d{5}','10081 BIT')
if match:
	match.group(0)

match可以返回空，调用group会出错

re.findall(pattern,string,flags=0)

搜索字符串，以列表类型返回全部能匹配的子串

import re
ls = re.findall(r'[1-9]\d{5}','BIT10081 TSU100084')
ls

re.split(pattern,string,maxsplit=0,flags=0)

将一个字符串按照正则表达式匹配结果进行分割，返回列表类型

import re
re.split(r'[1-9]\d{5}','BIT10081 TSU100084')
re.split(r'[1-9]\d{5}','BIT10081 TSU100084',maxsplit=1)

re.finditer(pattern,string,flags=0)

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象

import re
for m in re.finditer(r'[1-9]\d{5}','BIT10081 TSU100084'):
	if m:
		print(m.group(0))

re.sub(pattern,repl,string,count=0,flags=0)

在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

Re库的贪婪匹配和最小匹配

Re库默认采用贪婪匹配，即输出匹配最长的子串

match = re.search(r'PY'.*N','PYANBNCNDN')
match.group(0)

最小匹配

match = re.search(r'PY'.*？N','PYANBNCNDN')
match.group(0)

最小匹配操作符

在这里插入图片描述

正则表达式概念

regular expression
regex
re
正则表达式是用来简洁表达一组字符串的表达式

在这里插入图片描述


通用的字符串表达框架
简洁表达一组字符串的表达式
针对字符串表达“简洁”和“特征”思想的工具
判断某字符串的特征归属

正则表达式的语法

在这里插入图片描述


abc*：表示*前面的c可以出现0次或无限次，如ab，abc，abcc，…
abc+：表示+前面的c可以出现1次或无限次，如abc，abcc…

在这里插入图片描述

在这里插入图片描述


在这里插入图片描述


IP地址的正则表达式

在这里插入图片描述

淘宝商品比价定向爬虫

import requests
import re

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def parsePage(ilt,html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(plt):
            price = eval(plt[i].split(':')[1])
            title = eval(title[i].split(':')[1])
            ilt.append([price,title])
    except:
        print("")

def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count,g[0],g[1]))

def main():
    goods = "书包"
    depth = 2
    start_url = 'https://s.taobao.com/search?q='+goods
    infoList = []
    for i in range(depth):
        try:
            url = start_ulr+'&s='+str(44*i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)

main()

股票数据定向爬虫

import requests
from bs4 import BeautifulSoup
import traceback
import re

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.txt
    except:
        return ""

def getStockList(lst, stockURL):
    html = getHTMLText(stockURL)
    soup = BeautifulSoup(html, 'html.parser')
    a = find_all('a')
    for i in a:
        try:
            href = i.attrs['href']
            lst.append(re.findall(r"[s][hz]\d{6})",href)[0])
        except:
            continue

def getStockInfo(lst, stockURL, fpath):
    for stock in lst:
        url = stockURL + stock + ".html"
        html = getHTMLText(url)
        try:
            if html == "":
                continue
            infoDict = {}
            soup = BeautifulSoup(html,'html.parser')
            stockInfo = soup.find('div',attrs={'class':'stock-bets'})
            
            name = stockInfo.find_all(attrs={'class':'bets-name'})[0]
            infoDict.update({'股票名称':name.text.split()[0]})

            keyList = stockInfo.find_all('dt')
            valueList = stockInfo.find_all('dd')
            for i in range(len(keyList)):
                key = keyList[i].text
                val = valueList[i].text
                infoDict[key] = val
             with open(fpath, 'a',encoding = 'utf-8') as f:
                 f.write(str(infoDict) + '\n')y
        except:
            traceback.print_exc()
            continue

def main():
    stock_list_url = 'http://quote.eastmoney.com/stocklist.html'
    stock_Info_url = 'http://gupiao.baidu.com/stock/'
    output_file = 'D://BaiduStockInfo.txt'
    slist = []
    getStockList(slist, stock_list_url)
    getStockInfo(slist, stock_info_url, output_file)

main()

requests库和Scrapy爬虫比较

相同点：
都可以进行页面请求和爬取
可用性好
没有处理js，提交表单

不同：
requests：页面级爬虫，功能库，并发性不足，页面下载，定制灵活，简单
Scrqpy：网站级爬虫，框架，并发性好，爬虫结构，深度定制困难，稍难

Scrapy爬虫的常用命令

Scrapy命令行格式

>scrapy<command>[options][args]

常用命令

在这里插入图片描述


命令行更容易自动化，适合脚本控制

本质上，Scrapy是给程序员用的，功能更重要

Scrapy爬虫框架介绍

爬虫框架是实现爬虫功能的一个软件结构和功能组件集合
爬虫框架是一个半成品，能帮助用户实现专业网络爬虫

Scrapy爬虫框架解析

在这里插入图片描述


Engine：控制抽有模块之间的数据流；根据条件触发事件（不需要用户修改）
Downloader：根据请求下载网页（不需要用户修改）
Scheduler：对所有爬虫请求进行调度管理（不需要用户修改）

Downloader Middleware：修改、丢弃、新增请求或响应
Spider：解析Downloader返回的响应；产生爬取项；产生额外的爬取请求
Item Pipelines：以流水线方式处理Spider产生的爬取项；由一组操作顺序组成，类似流水线，每个操作是一个Item Pipeline类型；清理、检验和查重爬取项中的HTML数据，将数据存储到数据库（需要用户编写）

Spider Middleware：修改、丢弃、新增请求或爬取项

Scrapy实例1

安装好Scrapy库后
打开命令提示符
输入d:
输入cd pycodes
输入scrapy startproject python123demo

scrapy.cfg：部署Scrapy爬虫的配置文件
python123demo：Scrapy框架的用户自定义Python代码
_init_.py：初始化脚本
items.py：Items代码模板（继承类）
middlewares.py：Middlewares代码模板（继承类）
pipelines.py：Pipelines代码模块（继承类）
settings.py：Scrapy爬虫的配置文件

输入scrapy genspider demo python123.io

增加了一个新的文件demo.py，内容如下

# -*- coding: utf-8 -*-
import scrapy

class DemoSpider(scrapy.Spider):
	name = "demo"
	allowed_domains = ["python123.io"]
	start_urls = ['http://python123.io/']
	
	def parse(self, response):
		pass

parse()用于处理响应，解析内容形成字典，发现新的URL爬取请求

修改demo.py

# -*- coding: utf-8 -*-
import scrapy

class DemoSpider(scrapy.Spider):
	name = "demo"
	#allowed_domains = ["python123.io"]
	start_urls = ['http://python123.io/ws/demo.html']
	
	def parse(self, response):
		fname = response.url.split('/')[-1]
		with open(fname, 'wb') as f:
			f.write(response.body)
		self.log('Save file %s.' %name)

输入scrapy crawl demo

Scrapy爬虫的基本使用

创建一个工程和Spider模板
编写Spider
编写Item Pipeline
优化配置策略

Requests类

在这里插入图片描述


Response类

在这里插入图片描述


Item类

Scrapy爬虫提取信息的方法
BeautifulSoup
lxml
re
XPath Selector
CSS Selector

yield关键字的使用

生成器是一个不断产生值的函数
包含yield语句的函数是一个生成器
生成器每次产生一个值，函数被冻结，被唤醒后再产生一个值

def gen(n):
	for i in range(n):
		yield i**2

股票数据Scrapy爬虫实例

建立工程和Spider模板
编写Spider
编写ITEM Pipelines

输入：
scrapy startproject BaiduStocks
cd BaiduStocks
scrapy genspider stocks baidu.com

修改spiders/stocks.py

# -*- coding: utf-8 -*-
import scrapy
import re

class StockSpider(scrapy.Spider):
	name = "stocks"
	start_urls = ['http://quote.eastmoney.com/stocklist.html']
	
	def parse(self, response):
		for href in response.css('a::attrs(href)').extract():
			try:
				stock = re.findall(r"[s][hz]\d{6}",href)[0]
				url = 'https://gupiao.baidu.com/stock/' + stock + '.html'
				yield scrapy.Request(url, callback=self.parse_stock)
			except:
				continue
	
	def parse_stock(self, response):
		infoDict = {}
		stockInfo = response.css('.stock-bets')
		name = stockInfo.css('bets-name').extract[0]
		keyList = stockInfo.css('dt').extract()
		valueList = stockInfo.css('dd').extract()
		for i in range(keyList):
			key = re.findall(r'>.*</dt>',keyList[i])[0][1:-5]
			try:
				val = re.findall(r'\d+\.?.*</dd>',valueList[i])[0][0:-5]
			except:
				val ='--'
			infoDict[key]=val
		infoDict,update(
			{'股票名称':re.findall('\s.*\(',name)[0].split()[0] + \
			re.findall('\>.*\<',name)[0][1:-1]})
		yield infoDict

修改pipelines.py文件

class BaidustockPipeline(object):
	def process_item(self, item, spider):
		return item
	
class BaidustocksInfoPipeline(object):
	def open_spider(self,spider):
		self.f = open('BaiduStockInfo.txt','w')
	def close_spider(self, spider):
		self.f.close()
	
	def process_item(self, item, spider):
		try:
			line = str(dict(item) + '\n'
			self.f.write(line)
		except:
			pass
		return item

修改settings.py，找到一个参数ITEM_PIPELInes

ITEM_PIPELInes = {
	'BaiduStocks.pipelines.BaidustocksInfoPipeline':300,
}

执行：scrapy crawl stocks

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

如何用django开发一个简易个人Blog
功能概要：（目前已实现功能）公共展示部分：1.网站首页展示已发布的博客记录，包括名称、摘要信息、发布日期、阅读量及评论数。2.首页文章列表可按照分类筛选。3.点击标题或阅读全文链接，进入博客阅读页面，展示文章标题、内容及评论内容。博客后台管理部分：（后台套用了一个叫做ACE的后台模板，改造成了dja
Python中的几种数据类型
大体上把Python中的数据类型分为如下几类： Number（数字） 包括int,long,float,complex String（字符串） 例如：hello,&quot;hello&quot;,hello List（列表） 例如：[1,2,3],[1,2,3,[1,2,3],4] Diction
django开发个人简易Blog——构建项目结构
开发之前第一步，就是构造整个的项目结构。这就好比作一幅画，第一步就是描绘轮廓，有了轮廓，剩下的就是慢慢的填充细节。项目结构规划如下图：项目结构描述:本项目以fengzhengBlog为根目录。admin、blogapp是两个app目录,用于实现项目主要功能：包括模型定义、视图定义等css、js、im
Linux下安装Apache并以mod_wsgi方式部署django站点
源码编译方式安装Apache首先下载Apache源码压缩包，地址为http://mirror.bit.edu.cn/apache/httpd/继续下载apr和apr-util压缩包，地址为http://mirror.bit.edu.cn/apache/apr/下载pcre压缩包，地址为http://
django开发个人简易Blog—nginx+uwsgin+django1.6+mysql 部署到CentOS6.5
前面说完了此项目的创建及数据模型设计的过程。如果未看过，可以到这里查看，并且项目源码已经放大到github上,可以去这里下载。代码也已经部署到sina sea上，地址为http://fengzheng.sinaapp.com/先跳过视图展示及表单处理的部分，先介绍一下如何部署。标题中已经把部署环境介
Scrapy爬取自己的博客内容
python中常用的写爬虫的库有urllib2、requests,对于大多数比较简单的场景或者以学习为目的，可以用这两个库实现。这里有一篇我之前写过的用urllib2𫯪utifulSoup做的一个抓取百度音乐热门歌曲的例子，有兴趣可以看一下。本文介绍用Scrapy抓取我在博客园的博客列表，只抓
用python实现的百度音乐下载器-python-pyqt-改进版
之前写过一个用python实现的百度新歌榜、热歌榜下载器的博文，实现了百度新歌、热门歌曲的爬取与下载。但那个采用的是单线程，网络状况一般的情况下，扫描前100首歌的时间大概得到40来秒。而且用Pyqt做的界面，在下载的过程中进行窗口操作，会出现UI阻塞的现象。 前两天有时间调整了一下，做了几方面的改
Python:解决中文字符串问题
本人安装的是Python 2.7版本，由于编写程序的过程中会碰到中文字符串，但由于Python默认采用ASCII编码方式，所以对中文不支持。要解决此问题，必须设置当前编码方式为Unicode方式。默认ASCII编码方式对中文字符产生的异常为：UnicodeDecodeError: &#39;asci
Django集成百度富文本编辑器uEditor
UEditor是由百度web前端研发部开发所见即所得富文本web编辑器，具有轻量，可定制，注重用户体验等特点，开源基于MIT协议，允许自由使用和修改代码。首先从ueEditor官网下载最新版本的包，目前官网上提供了ASP、.NET、PHP、JSP版本的，django版本只有一个第三方个人开发的，但看
django开发个人简易Blog——数据模型
提到数据模型，一定要说一下MVC,MVC框架是现代web开发中最流行的开发框架，它将数据与业务逻辑分开，减小了应用之间的高度耦合。个人非常喜欢MVC开发框架，除了具有上述特性，它使得web开发变得非常灵活，在ASP.NET上表现的尤为强烈，传统的ASP.NET开发常常用到好多臃肿的服务器端控件，定制
苹果市值2025年有望达4万亿美元
pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native