如何解决Python - 加速从具有未知列的 CSV 文件导入数据库
我有 csv 文件，其中包含来自一些网站的用户提交的表单数据。这些文件可以有任意数量的列（每个表单字段一个），而值可以是任何内容。一些列是常量，例如 Form ID 和 Form URL。我需要为每个表单/csv 动态创建表并将数据输入到预定义的 MysqL 数据库中。
我前段时间写了一个脚本，它利用 MysqLdb 来做到这一点，但速度大约为每秒 2 行。我总共有大约 9 万行数据。
我的流程是这样的：
- 抓取部分站点名、表单名和表单ID动态创建表名
- 如果表不存在，则使用字符串连接的 sql 语法创建该表。表名源自 csv 字段名，去除了特殊字符并采用蛇形大小写。表格类型为
VARCHAR - 循环遍历 csv 行并插入到表中，使用字典和占位符防止 sql 注入
修改后我注意到我没有使用 bulk_query() 或 executemany()，这应该有所不同。但最好取消字符串连接并改用 sqlAlchemy。但是，我知道这需要预定义的类来构建模型。这是可以即时定义的吗？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
