Python SQLite3的问题sqlite3.ProgrammingError: SQLite objects created in a thread can only be used in th

待我称王封你为后i 2022-02-24 11:30 170阅读 0赞

引言: SQLite是基于文件系统的mini数据库，我们用以存放简便的数据，本文将描述在代码中碰到的并发问题。

1.  问题的提出

最近在跑python代码过程中，使用sqlite的时候，碰到了如下错误信息：

Mon, 17 Apr 2017 16:00:00 [base.py][]\[line:131\] ERROR Job “save\_data (trigger: cron\[day\_of\_week=‘mon-fri’, hour=‘16’\], next run at: 2017-04-18 16:00:00 CST)” raised an exception  
Traceback (most recent call last):  
File “C:\\Program Files\\Python\\lib\\site-packages\\apscheduler\\executors\\[base.py][]”, line 125, in run\_job  
retval = job.func(\*job.args, \*\*job.kwargs)  
File “[indexdata.py][]”, line 238, in save\_data  
sqlite\_obj.insert\_data(“index50”, datetime.datetime.now().strftime("%Y-%m-%d"), final\_data\[‘value’\])  
File “C:\\workspace\\stock-crawler\\stockindex\\util\\[SQLiteUtil.py][]”, line 27, in insert\_data  
self.cx.execute(self.insert\_sql\_str, \[name, date, valdata, datetime.datetime.now()\])  
sqlite3.ProgrammingError: SQLite objects created in a thread can only be used in thread xxxx

代码为多个线程进行数据库的读写操作。这里简要列出关键的数据库操作，主要集中在insert/update操作。  
2. 问题分析

从错误信息来分析，问题是sqlite本身应对多个线程并发访问过程中的冲突问题，由一个线程创建并访问的sqlite的数据库，无法允许另外一个线程进行访问。这里的解决办法可能有２个：

通过队列规避多线程的访问  
　通过设置或者多个访问管道，规避线程之间的冲突问题  
　　从技术上评估，２个方法都可以解决问题，哪种更具优势？

1.  问题解决

通过网上搜索发现，其实可以通过设置sqlite文件的读取方式，可以简单规避掉线程之间的冲突问题：

def initDB(self, file\_path):  
self.file\_path = file\_path  
[self.cx][] = sqlite3.connect(file\_path, check\_same\_thread=False)  
self.cx.execute(self.create\_table\_str)  
self.cx.execute(self.create\_detail\_table\_str)  
print(“init the table strucutre successfully”)  
check\_same\_thread这个设置为False，即可允许sqlite被多个线程同时访问  
4. 总结

对于sqlite而言，所有的读取或者打开操作，都是有check\_same\_thread的设置，与语言无关。

[base.py]: http://base.py
[indexdata.py]: http://indexdata.py
[SQLiteUtil.py]: http://SQLiteUtil.py
[self.cx]: http://self.cx