微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何提高效率SQLITE 大数据量操作效率

今天有个朋友测试 sqlite,然后得出的结论是:sqlite 效率太低,批量插入1000条记录,居然耗时 2 分钟!

   
   
using System.Data; using System.Data.Common; using System.Data.sqlite; // 创建数据库文件 File.Delete( " test1.db3 " ); sqliteConnection.CreateFile( " test1.db3 " ); DbProviderFactory factory = sqliteFactory.Instance; using (DbConnection conn = factory.CreateConnection()) { // 连接数据库 conn.ConnectionString = " Data Source=test1.db3 " ; conn.open(); // 创建数据表 string sql = " create table [test1] ([id] INTEGER PRIMARY KEY,[s] TEXT COLLATE NOCASE) " ; DbCommand cmd = conn.CreateCommand(); cmd.Connection = conn; cmd.CommandText = sql; cmd.ExecuteNonQuery(); // 添加参数 cmd.Parameters.Add(cmd.CreateParameter()); // 开始计时 Stopwatch watch = new Stopwatch(); watch.Start(); // 连续插入1000条记录 for ( int i = 0 ; i < 1000 ; i ++ ) { cmd.CommandText = " insert into [test1] ([s]) values (?) " ; cmd.Parameters[ 0 ].Value = i.ToString(); cmd.ExecuteNonQuery(); } // 停止计时 watch.Stop(); Console.WriteLine(watch.Elapsed); }

哎~~~~ 一个常识性的错误,我加几行代码 (新增代码标记 "// <-------------------")。

   
   
using System.Data; using System.Data.Common; using System.Data.sqlite; // 创建数据库文件 File.Delete( " test1.db3 " ); sqliteConnection.CreateFile( " test1.db3 " ); DbProviderFactory factory = sqliteFactory.Instance; using (DbConnection conn = factory.CreateConnection()) { // 连接数据库 conn.ConnectionString = " Data Source=test1.db3 " ; conn.open(); // 创建数据表 string sql = " create table [test1] ([id] INTEGER PRIMARY KEY,[s] TEXT COLLATE NOCASE) " ; DbCommand cmd = conn.CreateCommand(); cmd.Connection = conn; cmd.CommandText = sql; cmd.ExecuteNonQuery(); // 添加参数 cmd.Parameters.Add(cmd.CreateParameter()); // 开始计时 Stopwatch watch = new Stopwatch(); watch.Start(); DbTransaction trans = conn.BeginTransaction(); // <------------------- try { // 连续插入1000条记录 for ( int i = 0 ; i < 1000 ; i ++ ) { cmd.CommandText = " insert into [test1] ([s]) values (?) " ; cmd.Parameters[ 0 ].Value = i.ToString(); cmd.ExecuteNonQuery(); } trans.Commit(); // <------------------- } catch { trans.Rollback(); // <------------------- throw ; // <------------------- } // 停止计时 watch.Stop(); Console.WriteLine(watch.Elapsed); }

执行一下,耗时 0.2 秒。这差距是不是太大了点?

为什么只是简单启用了一个事务会有这么大的差距呢?很简单,sqlite 缺省为每个操作启动一个事务,那么原代码 1000 次插入起码开启了 1000 个事务,"事务开启 + sql 执行 + 事务关闭" 自然耗费了大量的时间,这也是后面显示启动事务后为什么如此快的原因。其实这是数据库操作的基本常识,大家要紧记,不好的代码效率差的不是一点半点。

原文地址:https://www.jb51.cc/sqlite/201918.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐