转义字符导致sqlite迁移至mysql少了15w数据

sqlite迁移至MysqL

一、 准备工作

相关sqlite语句

进入sqlite数据库,如数据库名为mobi.db

[root@localhost ~]# sqlite3 mobi.db

sqlite version 3.6.23.1

Enter ".help" for instructions

Enter sql statements terminated with a ";"

1)查看数据库

sqlite> .database

seq name file

--- --------------- ----------------------------------------------------------

0 main /root/mobi.dbbak

2)查看库里的表

sqlite> .tables

account_alias devprop selffund userdevbind

accountmap misc selfstock yyblist

appupdate qs_qs sync_queue yyblist2

3)查看表结构

sqlite> .schema devprop

CREATE TABLE devprop(

devid varchar(48) primary key,

devprop text,

checksum varchar(16),

update_time varchar(16)

);

二、sqlite dump出需要迁移的数据库

把当前数据库导出文件名为mobi.sql

sqlite>.output mobi.sql

sqlite>.dump

三、遇到的第一个问题,MysqLsqlite的表结构新,多了字段

导入MysqL数据库语句,并做相关修改

注意:如果你是把最新的MysqL表创建语句导入后,请检查该数据库里的表与sqlite里相同的表的字段是否一致,如果不一致先删除掉多余的字段后导数据,删除字段语句:alter table devprop drop column flag;

导完数据后,再加上该字段即可

四、遇到的第二个问题,MysqL导入里不允许表名以“”引住

[root@localhost ~]# vi mobi.sql

1)把里面的CREATE TABLE相关语句查找出来去掉

2删除INTOVALUES间的引号

sed -i 's/INTO "/INTO /g' mobi.sql && sed -i 's/" VALUES/ VALUES/g' mobi.sql

五、遇到的第三个问题,由于之前的程序开发不严谨居然用户里有转义字符(\

INSERT INTO selfstock VALUES('身了Uk\','','1266411514',NULL);

在未处理这\特殊字符之前,MysqLcount出来的selfstock数与sqlite对比少了15w行,由于用户量过大这种错误提示较为难找,我的对比方法是先count看下两数据量是不是一致

不一致时

a) MysqL的日志开启出来(log_bin=MysqL-bin开启日志)

b) 过滤相关selfstock 表数据

msyql过滤

MysqLbinlog /var/lib/MysqL/MysqL-bin.000001 grep selfstock > selfstock.MysqL 后面生成的日志追加至selfstock.MysqL

sqlite过滤

grep selfstock mobi.sql > selfstock.sqlite

对比相关数据

diff selfstock.sqlite selfstock.MysqL >diff.sql

1. 对比时使用到的shell正则:g/^$/d vi去除空行,:1,$s/[0-9][0-9a-z]//g vi里去掉diff不必要的数据

MysqLshell情况下导入时\这个转义字符时,须先将其转义:

sed -i 's#\\#\\\\#g' mobi.sql

由于转义字符的原因对比少了15w数据,数据量过大检查并未发现明显错误,于是采用上面的对比方法找出,由于这个问题的出现,刚开始一直以为是乱码问题,搞得莫名其妙。

查看相关数据差异数据,重置MysqL日志reset master,查看MysqL日志名show binary logs

六、第四个问题MysqL插入用户时大小写忽略

由于导出MysqL在运行的表结构出来的时候不会保存控制表内容大小写

在建表时时候加以标识

CREATE TABLE devprop(

devid varchar(48) binary primary key,

devprop text,

update_time varchar(16)

);

由于大小写的原因少了70多条数据

七、第五个问题,末尾空格用户

上面的问题都解决了之后,发现用户还是少了四条,实在不解于是再次采用对比方法,发现有用户是重名,对于MysqL来说,即前面的字符都一样但有个用户后面多了一个或多个空格如下:

INSERT INTO misc VALUES('18970171896 ','1267243148',NULL);

INSERT INTO misc VALUES('18970171896','1269091519',NULL);

由于此用户为不合法用户也就没有导入了。

补充知识及参考资料:

lower_case_table_names=1 MysqL认表名区分大小写,列名不区分,认值为1

http://firefore.com/2008/01/lower-case-table-names.html

http://www.linuxpig.com/2010/08/mysqlchaxunbuqufendaxiaoxiewentifenxihejiejue/

注意事项:需要把使用sqlite数据库的相关程序停止掉

[root@hxmobi-dell mobiauth]#ps aux|grep mobia

root 6303 0.0 0.0 4572 1008 ? S Nov20 0:00 sh /root/mobile/mobiauth/mobia.sh

root 16361 0.5 1.4 127884 58060 ? Sl Nov22 5:31 obj/mobia -abc

root 19997 0.0 0.0 4004 688 pts/1 S+ 10:42 0:00 grep mobia

[root@hxmobi-dell mobiauth]#kill -9 6303 16361

[root@hxmobi-dell db]# cd /root/mobile/mobiauth/config/db

[root@hxmobi-dell db]# cp mobi.ab mobi.ab-2010-11-23

拷贝完后把原sqlite认证程序启动。让用户可以登录,如果认证程序不停掉操作sqlite数据库,会导致数据损坏问题

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


SQLite架构简单,又有Json计算能力,有时会承担Json文件/RESTful的计算功能,但SQLite不能直接解析Json文件/RESTful,需要用Java代码硬写,或借助第三方类库,最后再拼成insert语句插入数据表,代码非常繁琐,这里就不展示了。参考前面的代码可知,入库的过程比较麻烦,不能只用SQL,还要借助Java或命令行。SPL是现代的数据计算语言,属于简化的面向对象的语言风格,有对象的概念,可以用点号访问属性并进行多步骤计算,但没有继承重载这些内容,不算彻底的面向对象语言。...
使用Python操作内置数据库SQLite以及MySQL数据库。
破解微信数据库密码,用python导出微信聊天记录
(Unity)SQLite 是一个软件库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是在世界上最广泛部署的 SQL 数据库引擎。SQLite 源代码不受版权限制。本教程将告诉您如何使用 SQLite 编程,并让你迅速上手。.................................
安卓开发,利用SQLite实现登陆注册功能
相比大多数数据库而言,具有等优势,广泛应用于、等领域。
有时候,一个项目只有一个数据库,比如只有SQLite,或者MySQL数据库,那么我们只需要使用一个固定的数据库即可。但是一个项目如果写好了,有多个用户使用,但是多个用户使用不同的数据库,这个时候,我们就需要把软件设计成可以连接多个数据库的模式,用什么数据库,就配置什么数据库即可。4.Users实体类,这个实体类要和数据库一样的,形成一一对应的关系。11.Sqlite数据库,需要在代码里面创建数据库,建立表,再建立数据。8.我们开启MySQL数据库,然后进行调试,看程序的结果。2.安装SqlSugar。
基于Android的背单词软件,功能强大完整。
SQLite,是一款轻型的数据库,是遵守ACID的关系型数据库管理系统。说白了就是使用起来轻便简单,
Android的简单购物车案例
SQLite,是一款轻型的数据库,是遵守ACID的关系型数据库管理系统,它包含在一个相对小的C库中。它是D.RichardHipp建立的公有领域项目。它的设计目标是嵌入式的,而且已经在很多嵌入式产品中使用了它,它占用资源非常的低,在嵌入式设备中,可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统,同时能够跟很多程序语言相结合,比如 Tcl、C#、PHP、Java等,还有ODBC接口,同样比起Mysql、PostgreSQL这两款开源的世界著名数据库...
Qt设计较为美观好看的登录注册界面(包含SQLite数据库以及TCP通信的应用)
SQLite是用C语言开发的跨平台小型数据库,可嵌入其他开发语言,也可在单机执行。SPL是用Java开发的跨平台的数据计算语言,可嵌入Java,可在单机执行,可以数据计算服务的形式被远程调用。两者的代码都是解释执行的。...
新建库.openDATA_BASE;新建表createtableLIST_NAME(DATA);语法:NAME关键字...<用逗号分割>删除表droptableNAME;查看表.schema查看表信息新建数据insertintoLIST_NAMEvalues();语法:CLASS,PARAMETER...,CLASS是类别,PARAMETER是参数<用逗号分割新建的
importsqlite3classDemo01:def__init__(self):self.conn=sqlite3.connect("sql_demo_001.db")self.cursor1=self.conn.cursor()self.cursor1.execute("select*fromtable_001wherename=?andid=?",('ssss&#0
 在客户端配置文件<configuration>节点下,添加:<connectionStrings>      <add name="localdb" connectionString="Data Source=config/local.db;Version=3;UseUTF16Encoding=True;" providerName="System.Data.SQLite.SQLiteFactory"/&g
提到锁就不得不说到死锁的问题,而SQLite也可能出现死锁。下面举个例子:连接1:BEGIN(UNLOCKED)连接1:SELECT...(SHARED)连接1:INSERT...(RESERVED)连接2:BEGIN(UNLOCKED)连接2:SELECT...(SHARED)连接1:COMMIT(PENDING,尝试获取EXCLUSIVE锁,但还有SHARED锁未释放,返回SQLITE_BUSY)连接2:INSERT...
SQLite是一种嵌入式数据库,它的数据库就是一个文件。由于SQLite本身是C写的,而且体积很小,所以,经常被集成到各种应用程序中,甚至在iOS和Android的App中都可以集成。Python就内置了SQLite3,所以,在Python中使用SQLite,不需要安装任何东西,直接使用。在使用SQLite前,我们先要搞清楚几个概念:表
设计思想————首先要确定有几个页面、和每个页面的大致布局由于是入门,我也是学习了不是很长的时间,所以项目比较low。。。。第一个页面,也就是打开APP的首页面:今天这个博客,先实现添加功能!:首先对主界面进行布局:其中activity_main.xml的代码为<?xmlversion="1.0"encoding="