盘点一个通过python大批量插入数据到数据库的方法
2023/7/26 23:22:15
本文主要是介绍盘点一个通过python大批量插入数据到数据库的方法,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
大家好,我是皮皮。
一、前言
前几天在Python白银群【鶏啊鶏】问了一个Python
数据存入数据库的问题,一起来看看吧。
各位大佬 我想请教下通过python大批量插入数据到数据库的方法 目前我在用的操作是以下这个模式:
sql='' for i in list: sql = "insert XXX表(地址,单号,缸号,状态,备注,时间) values('" + address + "','"+ppo+"','"+batch_no+"','待定','未生产',getdate())"
这样当sql稍微大点的情况下 一次性插入就会插入失败,想请问下各位大佬如果大批量插入的话应该用哪个方式更稳定点呢。
二、实现过程
这里【袁学东】给了一个解答,如下所示:
用pandas, 先将批量插入数据整理成dataframe,df.to_sql(table, index=False, con=self.engine, if_exists=method)
,1000万行的数据导入也只要几秒钟。如果数据源是csv或excel更简单,df = pd.read_csv("file.csv")
或df = pd.read_excel("file.xls"),然后df.to_sql()
。
顺利地解决了粉丝的问题。
三、总结
大家好,我是皮皮。这篇文章主要盘点了一个Python
数据存数据库的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。
最后感谢粉丝【鶏啊鶏】提问,感谢【袁学东】给出的思路和代码解析,感谢【巭孬嫑勥烎】等人参与学习交流。
【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。
这篇关于盘点一个通过python大批量插入数据到数据库的方法的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-20Python编程入门指南
- 2024-12-20Python编程基础与进阶
- 2024-12-19Python基础编程教程
- 2024-12-19python 文件的后缀名是什么 怎么运行一个python文件?-icode9专业技术文章分享
- 2024-12-19使用python 把docx转为pdf文件有哪些方法?-icode9专业技术文章分享
- 2024-12-19python怎么更换换pip的源镜像?-icode9专业技术文章分享
- 2024-12-19Python资料:新手入门的全面指南
- 2024-12-19Python股票自动化交易实战入门教程
- 2024-12-19Python股票自动化交易入门教程
- 2024-12-18Python量化入门教程:轻松掌握量化交易基础知识