麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 編程 > Python > 正文

詳解多線程Django程序耗盡數據庫連接的問題

2020-02-15 23:06:46
字體:
來源:轉載
供稿:網友

Django的ORM是非常好用的,哪怕不是做Web項目也值得一用,所以網上也可以找到不少使用 Django 開發非Web項目的資料,因為除了ORM之個,命令行、配置文件等組件也非常好用。

最近用這種方式開發了一個非Web項目,而且是多線程的。有N個工作線程從DB中獲取jobs,并把結果寫回DB。簡單來說就是這樣。

項目運行一段時間后,發現數據庫連接耗盡了,幸好內存大,然后一直往上調,最后連接數都上九千多一萬了。耗盡連接數的時候,PostgreSQL 會出現類似這樣的錯誤:

FATAL: remaining connection slots are reserved for non-replication superuser connections

然后就各種看文檔、代碼,找問題,其中艱難略下不表,最后大概是這么些個知識點:

    Django里的數據庫連接是放在線程的 local() 實例中的。 任何時候,需要一個數據庫連接的話,Django就會創建一條出來,或者用本線程已有的那條。 如果是Web項目,在請求結束的時候,Django會去關閉掉連接。是的,沒有連接池。 因為我們是非Web項目,所以不存在請求結束事件,所以一直沒的關閉連接。但本來這個應該也不會造成問題的,因為沒關閉就一直用唄,但不知道哪里出了問題,會出現連接泄漏,所以連接數據會一直增長。

最后的解決方案是找時機主動關閉數據庫連接,具體到我們項目,就是每次工作線程完成一個任務后,就把它相關的連接關掉,因為我們用的是 ThreadPoolExecutor ,所以Django很容易做到這一點。

重點代碼如下:

from django.db import connectionsdef on_done(future):  # 因為每一個線程都有一個 connections,所以這里可以調用 close_all(),把本線程名下的所有連接關閉。  connections.close_all()def main():  # ...  with ThreadPoolExecutor() as executor:    while True:      future = executor.submit(do, get_a_job())      future.add_done_callback(on_done)

主動關閉后,數據庫連接數降到與工作線程數相近,并保持穩定。

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持武林站長站。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 国产精品久久久久无码av | 一区二区久久精品66国产精品 | 国产在线a | 在线91观看 | 中文字幕www | 黄色片视频观看 | 久久精品一区二区三区国产主播 | 国产一区二区观看 | 国产精品美女一区二区 | 广州毛片 | 欧美日韩免费一区 | 亚洲免费视频大全 | 91网站免费观看 | 91网页视频入口在线观看 | 精品久久久久久久久亚洲 | 亚洲成人欧美在线 | 在线播放黄色片 | 国产免费高清在线视频 | 国产亚洲精品久久久久5区 综合激情网 | 亚洲国产网站 | 欧美性受ⅹ╳╳╳黑人a性爽 | 亚洲第一色婷婷 | 国产成人高潮免费观看精品 | 中国成人在线视频 | 美女黄影院 | 亚州综合一区 | av免费在线观看国产 | 欧美性生活网站 | 182tv成人福利视频免费看 | 国产999视频在线观看 | av在线播放免费观看 | 国产高潮好爽受不了了夜色 | 青草伊人网| 色视频在线播放 | 欧美一级视频免费看 | 99国产精品欲a | 国产一区在线观看视频 | 久草手机视频在线观看 | 99精品国产在热久久婷婷 | 亚洲福利视 | 久久老司机精品视频 |