Django的ORM是非常好用的,哪怕不是做Web項目也值得一用,所以網上也可以找到不少使用 Django 開發非Web項目的資料,因為除了ORM之個,命令行、配置文件等組件也非常好用。
最近用這種方式開發了一個非Web項目,而且是多線程的。有N個工作線程從DB中獲取jobs,并把結果寫回DB。簡單來說就是這樣。
項目運行一段時間后,發現數據庫連接耗盡了,幸好內存大,然后一直往上調,最后連接數都上九千多一萬了。耗盡連接數的時候,PostgreSQL 會出現類似這樣的錯誤:
FATAL: remaining connection slots are reserved for non-replication superuser connections
然后就各種看文檔、代碼,找問題,其中艱難略下不表,最后大概是這么些個知識點:
最后的解決方案是找時機主動關閉數據庫連接,具體到我們項目,就是每次工作線程完成一個任務后,就把它相關的連接關掉,因為我們用的是 ThreadPoolExecutor
,所以Django很容易做到這一點。
重點代碼如下:
from django.db import connectionsdef on_done(future): # 因為每一個線程都有一個 connections,所以這里可以調用 close_all(),把本線程名下的所有連接關閉。 connections.close_all()def main(): # ... with ThreadPoolExecutor() as executor: while True: future = executor.submit(do, get_a_job()) future.add_done_callback(on_done)
主動關閉后,數據庫連接數降到與工作線程數相近,并保持穩定。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持武林站長站。
新聞熱點
疑難解答