并发锁死现象(Deadlock when high concurrent writings to db)

[GoogleCodeExporter]

What steps will reproduce the problem?
1. 运行fetchvc脚本抓网页（不时有数据库写入操作）
2. 同时网站不停地搜索，高并发
3. 
这样在写入事可能遇到搜索的lock导致失败，写入进程崩溃，�
��时保有lock的进程也一起崩
溃，于是网站出现internal error

Original issue reported on code.google.com by jingcha...@gmail.com on 20 Dec 2009 at 2:53

[GoogleCodeExporter]

暂时的想法是利用sqlite的异步IO进行队列： 
http://www.sqlite.org/asyncvfs.html
同时在python中我找到了另一个Wrapper支持异步IO：http://code.googl
e.com/p/apsw/
但是同时也意味着所有sql语句得重写，@@
而且我还不知道异步IO的语法怎么写，还需要研究。

Original comment by jingcha...@gmail.com on 20 Dec 2009 at 3:05

[GoogleCodeExporter]

终于发现锁死是因为没有处理好exception

原来exception出来后是在外部catch的，所以忘了释放sqlite锁（con
n.commit()）

后来在dbinsert,dbupdate函数中加入了except，然后频繁锁死的现象
没有了，似乎好了，具体情
况需要进一步观察，如果这样可行，那么也不是特别需要应��
�异步IO。。。

Original comment by jingcha...@gmail.com on 20 Dec 2009 at 5:33

[GoogleCodeExporter]

Original comment by jingcha...@gmail.com on 20 Dec 2009 at 5:34

• Added labels: Priority-High
• Removed labels: Priority-Critical