微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Python的Django框架中使用SQLAlchemy操作数据库的教程

零、sqlAlchemy是什么?
sqlAlchemy的官网上写着它的介绍文字:

sqlAlchemy is the Python sql toolkit and Object Relational Mapper that gives
application developers the full power and flexibility of sql.
sqlAlchemy 是一个非常强大的ORM和数据库工具,但是它庞大的文档和复杂的功能总是让很 多人望而生畏。而Django的ORM相对来说就让很多人觉得简单实用。

事实上,sqlAlchemy其实也没有那么复杂,光使用它一些比较高级的功能其实并没有比 使用Django ORM复杂多少,而它丰富的功能则能让你在遇到更复杂的问题时处理起来得心应手。

写作本文的主要目的在于:

  • 通过对比sqlAlchemy ORM和Django ORM的主要使用方法, 尽量简单直观的让Django用户能够快速了解和上手sqlAlchemy这款强大的工具。
  • 不牵扯到sqlAlchemy具体的技术细节,包括Engine连接池、Session的具体工作原理等等

sqlAlchemy相对于Django内建的ORM来说,有几处非常明显的优点:

  • 可独立使用,任何使用Python的项目都可以用它来操作数据库
  • 和直接使用原始的DBAPI相比,提供了非常丰富的特性:连接池、auto-map等等
  • 提供了更底层的sql抽象语言,能用原始sql解决的问题基本上都可以用sqlAlchemy解决
  • 接下来我们针对日常的数据库操作来对比一下Django ORM和sqlAlchemy。

文中使用的 sqlAlchemy 版本为 0.9.8

一、Django VS sqlAlchemy

sqlAlchemy的安装:

 wget http://peak.telecommunity.com/dist/ez_setup.py
 python ez_setup.py
 sudo easy_install sqlalchemy
 sudo easy_install ipython

1.建立数据表

首先,我们需要先建立几个表。

(1)Django

在Django中,如果要建表,就是在models.py中定义你的数据类型:

from django.db import models

class Game(models.Model):
 ... ...

class GameCompany(models.Model):
 ... ...

因为文章主要面向有经验的Django用户,所以此处不写出详细的定义代码。定义Model以后 我们还需要在settings.py中DATABASES处设置需要连接的数据库地址。最后,使用syncdb来 完成数据库表的创建。

(2)sqlAlchemy

sqlAlchemy中,定义表结构的过程和Django类似:

from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column,Integer,String,ForeignKey,Date
from sqlalchemy.orm import relationship,backref

Base = declarative_base()

# 定义表结构
class GameCompany(Base):
 __tablename__ = 'game_company'

 id = Column(Integer,primary_key=True)
 name = Column(String(200),nullable=False)
 country = Column(String(50))


class Game(Base):
 __tablename__ = 'game'

 id = Column(Integer,primary_key=True)
 company_id = Column(Integer,ForeignKey('game_company.id'),index=True)
 category = Column(String(10))
 name = Column(String(200),nullable=False)
 release_date = Column(Date)

 # 和Django不同,外键需要显式定义,具体好坏见仁见智
 # 此处的relation可以为lazy加载外键内容时提供一些可配置的选项
 company = relationship('GameCompany',backref=backref('games'))


# 此处定义要使用的数据库
engine = create_engine('MysqL://root:root@localhost:5379/sqlalchemy_tutorial?charset=utf8')
# 调用create_all来创建表结构,已经存在的表将被忽略
Base.Metadata.create_all(engine)

2.插入一些数据

接下来,我们往表中插入一些数据

(1)Django

Django中比较常用的插入数据方法就是使用 .save() 了。

nintendo = GameCompany(name="nintendo",country="Japan")
nintendo.save()

game1 = Game(
 company=nintendo,category="ACT",name="Super Mario bros",release_date='1985-10-18')
game1.save()

# 或者使用create
Game.objects.create(... ...)

(2)sqlAlchemy

sqlAlchemy ORM中,有一个非常关键的对象 session ,所有对于数据的操作都是 通过session来进行的,所以要插入数据之前,我们得先初始化一个session:

from sqlalchemy.orm import sessionmaker
Session = sessionmaker(bind=engine)
session = Session()

之后插入数据的方法也和Django比较相似:

# 添加数据
nintendo = GameCompany(name="Nintendo",country="Japan")
capcom = GameCompany(name="Capcom",country="Japan")
game1 = Game(
 company=nintendo,release_date='1985-10-18'
)
game2 = Game(
 company=capcom,name="Devil May Cry 3: dante's Awakening",release_date="2005-03-01",)
game3 = Game(
 company=nintendo,category="RPG",name="Mario & luigi: Dream Team",release_date="2013-08-11",)

# 使用add_all来让这些objects和session产生关系
session.add_all([nintendo,capcom,game1,game2])
# 在没有开启autocommit的模式下,不要忘了调用commit来让数据写到数据库中
session.commit()

除了commit之外,session还有rollback()等方法,你可以把session对象简单看成是一次 transaction,所以当你对内容进行修改时,需要调用 session.commit() 来提交这些修改

去文档可以了解更多session相关内容:http://docs.sqlalchemy.org/en/rel_0_9/orm/session.html

二、常用操作

1.简单查询

(1)批量查询

# -- Django --
Game.objects.filter(category="RPG")

# -- sqlAlchemy --
# 使用filter_by是和django ORM比较接近的方式
session.query(Game).filter_by(category="RPG")
session.query(Game).filter(Game.category == "RPG")

(2)查询单个对象

# -- Django --
Game.objects.get(name="Super Mario bros")

# -- sqlAlchemy --
session.query(Game).filter_by(name="Super Mario bros").one()
# `get_objects_or_None()`
session.query(Game).filter_by(name="Super Mario bros").scalar()

Django中得各种 > 、< 都是使用在字段名称后面追加 "__gt"、"__lt" 来实现的,在sqlAlchemy 中这样的查询还要更直观一些

# -- Django --
Game.objects.filter(release_date__gte='1999-01-01')
# 取反
Game.objects.exclude(release_date__gte='1999-01-01')

# -- sqlAlchemy --
session.query(Game).filter(Game.release_date >= '1999-01-01').count()
# 取反使用 ~ 运算符
session.query(Game).filter(~Game.release_date >= '1999-01-01').count()
通过外键组合查询

# -- Django --
Game.objecs.filter(company__name="Nintendo")

# -- sqlAlchemy --
session.query(Game).join(GameCompany).filter(GameCompany.name == "Nintendo")

2.多条件或查询

# -- Django --
from django.db.models import Q
Game.objects.filter(Q(category="RPG") | Q(category="ACT"))

# -- sqlAlchemy --
from sqlalchemy import or_
session.query(Game).filter(or_(Game.category == "RPG",Game.category == "ACT"))
session.query(Game).filter((Game.category == "RPG") | (Game.category == "ACT"))

(1)in查询

# -- Django --
Game.objects.filter(category__in=["gal","ACT"])

# -- sqlAlchemy --
session.query(Game).filter(Game.category.in_(["gal","ACT"]))

(2)like查询

# -- Django --
Game.objects.filter(name__contains="Mario")

# -- sqlAlchemy --
session.query(Game.name.contains('Mario'))

3.统计个数

简单统计总数:

# -- Django --
Game.objects.filter(category="RPG").count()

# -- sqlAlchemy --
session.query(Game).filter_by(category="RPG").count()
分组统计个数

# -- Django --
from django.db.models import Count
Game.objects.values_list('category').annotate(Count('pk')).order_by()

# -- sqlAlchemy --
from sqlalchemy import func
session.query(Game.category,func.count(Game.category)).group_by(Game.category).all()

4.结果排序

查询结果进行排序:

# -- Django --
Game.objects.all().order_by('release_date')
Game.objects.all().order_by('-release_date')
# 多字段排序
Game.objects.all().order_by('-release_date','category')

# -- sqlAlchemy --
session.query(Game).order_by(Game.release_date)
session.query(Game).order_by(Game.release_date.desc())
# 多字段排序
session.query(Game).order_by(Game.release_date.desc(),Game.category)

5.修改数据

# -- Django --
game = Game.objects.get(pk=1)
game.name = 'Super Mario brothers'
game.save()

# -- sqlAlchemy --
game = session.query(Game).get(1)
game.name = 'Super Mario brothers'
session.commit()

6.批量修改

# -- Django --
Game.objects.filter(category="RPG").update(category="ARPG")

# -- sqlAlchemy --
session.query(Game).filter_by(category="RPG").update({"category": "ARPG"})

7.批量删除

# -- Django --
Game.objects.filter(category="ARPG").delete()

# -- sqlAlchemy --
session.query(Game).filter_by(category="ARPG").delete()

三、sqlAlchemy其他一些值得关注的功能
上面简单列了一些sqlAlchemy ORM和Django ORM的使用方法对比,sqlAlchemy同时还提供了一些 其他非常有用的功能,比如Automap~

假如你有一个Django项目,通过ORM创建了一大堆Model。这时来了一个新项目,需要操作 这些表,应该怎么办?拷贝这些Models?使用原始的DB-API加上sql来操作?

其实使用sqlAlchemy的Automap可以让你的工作变得非常的方便,你只要在新项目连接到旧数据库,然后 稍微配置一下Automap,就可以使用sqlAlchemy的ORM操作那些通过别的系统创建的表了。

就像这样:

from sqlalchemy.ext.automap import automap_base
from sqlalchemy.orm import Session
from sqlalchemy import create_engine

Base = automap_base()
engine = create_engine("sqlite:///mydatabase.db")
Base.prepare(engine,reflect=True)

# user和address就是表明,通过这样的语句就可以把他们分别映射到User和Address类
User = Base.classes.user
Address = Base.classes.address

更多信息可以参考详细文档:http://docs.sqlalchemy.org/en/rel_0_9/orm/extensions/automap.html

附:Django与sqlAlchemy结合的实例演示
譬如,以下gumi/db.py代码,其中gumi制作Django项目名,项目中使用的唯一的数据库连接的包装,作为py调用

# -*- coding: utf-8 -*- 
from django.conf import settings 
from django.core import signals 
from django.dispatch import dispatcher 
import sqlalchemy 
from sqlalchemy.orm import scoped_session,sessionmaker 
from sqlalchemy.engine.url import URL 
 
__all__ = ['Session','Metadata'] 
 
def create_engine(): 
 url = URL(drivername=settings.DATABASE_ENGINE,database=settings.DATABASE_NAME,username=settings.DATABASE_USER,password=settings.DATABASE_PASSWORD,host=settings.DATABASE_HOST,port=settings.DATABASE_PORT or None,query = getattr(settings,'DATABASE_OPTIONS',{}) 
    ) 
 
 options = getattr(settings,'sqlALCHEMY_OPTIONS',{}) 
 engine = sqlalchemy.create_engine(url,**options) 
 return engine 
 
def end_request(signal,sender): 
 Session.remove() 
 
dispatcher.connect(receiver=end_request,signal=signals.request_finished) 
 
Metadata = sqlalchemy.MetaData() 
 
Session = scoped_session(sessionmaker(autoflush=True,transactional=True,bind=create_engine())) 

模块代码

from sqlalchemy.orm import * 
from gumi.db import Session,Metadata 
some_table = Table('some_table',Metadata,Column('id',primary_key=True),Column('some_value',String(100),nullable=False,MysqL_engine='InnoDB',) 
class SomeObject(object): 
 pass 
mapper(SomeObject,some_table) 

视图代码

import django.newforms as forms 
from gumi.db import Session 
 
class SomeForm(forms.Form): 
  # newform 
  pass 
 
def some_action(req): 
  if req.method != "POST": 
   form = SomeForm() 
  else: 
   form = SomeForm(req.POST) 
   if form.is_valid(): 
     data = form.clean() 
     obj = SomeObject() 
     obj.some_param = data['a'] 
     obj.another_param = data['b'] 
     Session.save(obj) 
     Session.commit() 
     return HttpResponseRedirect('/') 
  return render_to_response('some/template.html') 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


使用爬虫利器 Playwright,轻松爬取抖查查数据 我们先分析登录的接口,其中 url 有一些非业务参数:ts、he、sign、secret。 然后根据这些参数作为关键词,定位到相关的 js 代码。 最后,逐步进行代码的跟踪,发现大部分的代码被混淆加密了。 花费了大半天,来还原这些混淆加密的代码
轻松爬取灰豚数据的抖音商品数据 调用两次登录接口实现模拟登录 我们分析登录接口,发现调用了两次不同的接口;而且,需要先调用 https://login.huitun.com/weChat/userLogin,然后再调用 https://dyapi.huitun.com/userLogin 接口。 登
成功绕过阿里无痕验证码,一键爬取飞瓜数据 飞瓜数据的登录接口,接入了阿里云的无痕验证码;通过接口方式模拟登录,难度比较高。所以,我们使用自动化的方式来实现模拟登录,并且获取到 cookie 数据。 [阿里无痕验证码] https://help.aliyun.com/document_detail/1
一文教你从零开始入门蝉妈妈数据爬取,成功逆向破解数据加密算法 通过接口进行模拟登录 我们先通过正常登录的方式,分析对应的登录接口。通过 F12 打开谷歌浏览器的调试面板,可以看到登录需要传递的一些参数;其中看到密码是被加密了。 不过我们通过经验可以大概猜测一下,应该是通过 md5 算法加密了。 接下
抽丝剥茧成功破解红人点集的签名加密算法 抽丝剥茧破解登录签名算法,成功实现模拟登录 headers = {} phone_num = &quot;xxxx&quot; password = &quot;xxxx&quot; md5_hash = hashlib.md5() md5_hash.upda
轻松绕过 Graphql 接口爬取有米有数的商品数据 有米有数数据的 API 接口,使用的是一种 API 查询语言 graphql。所有的 API 只有一个入口,具体的操作隐藏在请求数据体里面传输。 模拟登录,获取 sessionId 调用登录接口,进行模拟登录。 cookies = {} head
我最近重新拾起了计算机视觉,借助Python的opencv还有face_recognition库写了个简单的图像识别demo,额外定制了一些内容,原本想打包成exe然后发给朋友,不过在这当中遇到了许多小问题,都解决了,记录一下踩过的坑。 1、Pyinstaller打包过程当中出现warning,跟d
说到Pooling,相信学习过CNN的朋友们都不会感到陌生。Pooling在中文当中的意思是“池化”,在神经网络当中非常常见,通常用的比较多的一种是Max Pooling,具体操作如下图: 结合图像理解,相信你也会大概明白其中的本意。不过Pooling并不是只可以选取2x2的窗口大小,即便是3x3,
记得大一学Python的时候,有一个题目是判断一个数是否是复数。当时觉得比较复杂不好写,就琢磨了一个偷懒的好办法,用异常处理的手段便可以大大程度帮助你简短代码(偷懒)。以下是判断整数和复数的两段小代码: 相信看到这里,你也有所顿悟,能拓展出更多有意思的方法~
文章目录 3 直方图Histogramplot1. 基本直方图的绘制 Basic histogram2. 数据分布与密度信息显示 Control rug and density on seaborn histogram3. 带箱形图的直方图 Histogram with a boxplot on t