博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Django数据库连接丢失问题
阅读量:6364 次
发布时间:2019-06-23

本文共 2573 字,大约阅读时间需要 8 分钟。

问题

在Django中使用mysql偶尔会出现数据库连接丢失的情况,错误通常有如下两种

1. OperationalError: (2006, 'MySQL server has gone away')
1. OperationalError: (2013, 'Lost connection to MySQL server during query')

查询mysql全局变量SHOW GLOBAL VARIABLES;可以看到wait_timeout,此变量表示连接空闲时间。如果客户端使用一个连接查询多次数据库,如果连续查询则没有问题,如果查询几次后停顿超过wait_timeout后再次查询就会出现数据库连接丢失。

复现

下面用Django复现下次问题:

  1. 将mysql的wait_timeout设置为10秒,然后进入django shell模拟查询(以下错误信息只保留了部分)
In[1]:import timeIn[2]:from django.contrib.auth.models import UserIn[3]:list(User.objects.filter(id=1))Out[3]:[<User: admin>]In[4]:time.sleep(15) # 模拟比较慢的代码(其中没有查询数据库的代码),或者空闲什么都不操作一段时间,此时间要比`wait_timeout`大一些list(User.objects.filter(id=1))Traceback (most recent call last):  File "<ipython-input-4-3574ae8220ee>", line 1, in <module>    list(User.objects.filter(id=1))  File "/usr/lib/python3.6/site-packages/pymysql/connections.py", line 1037, in _read_bytes    CR.CR_SERVER_LOST, "Lost connection to MySQL server during query")django.db.utils.OperationalError: (2013, 'Lost connection to MySQL server during query')

寻求

那么以上问题就基本说明了是空闲时间过长导致的错误。

django为了减少不必要的数据库连接、关闭,复用了数据库连接,当开始一个请求后建立一个连接池存放连接,之后此次请求都复用一个连接。那猜测就是django保存连接的比wait_timeout长了,如果保存时间短一些就可以重新建立连接避免此错误了。 没错,也已经说明了此问题,设置数据库 CONN_MAX_AGE参数,示例:

DATABASES = {    "default": {            'ENGINE': 'django.db.backends.mysql',            'NAME': '',            'USER': '',            'PASSWORD': '',            'HOST': '',            'CONN_MAX_AGE': 9  # 比wait_timeout小一些    }}

当我们测试后却发现,事情并非想想中那么简单。为何错误依旧出现?这一切的背后, 是人性的扭曲还是道德的沦丧?敬请收看下节《突破》。

突破

对django源码中CONN_MAX_AGE进行了一番搜索,顺藤摸瓜发现了django关闭失效连接的方法django.db.close_old_connections()

# Register an event to reset transaction state and close connections past# their lifetime.def close_old_connections(**kwargs):    for conn in connections.all():        conn.close_if_unusable_or_obsolete()signals.request_started.connect(close_old_connections)signals.request_finished.connect(close_old_connections)

重点在最后两行,通过signal实现特定事件时执行此方法,两个特定事件顾名思义是请求开始和请求结束。而我们报错的是在一次请求中,所以此法通常无效,仅仅是实现每个请求关闭并重新建立连接。

解决

复现问题的django shell不要关闭,继续执行如下代码:

In[5]:from django.db import close_old_connectionsIn[6]:close_old_connections()In[7]:list(User.objects.filter(id=1))Out[7]: [<User: admin>]

调用django.db.close_old_connections后再次查询就没有错误了。 那么我们要避免此错误就要执行每个数据库查询前调用django.db.close_old_connections方法。

  1. 一般情况不会出现此类问题,因为一个请求中不间断进行数据库查询,无需每个请求调用此方法,杞人忧天。
  2. 有时候一个请求中数据量较大,会查询数据库后进行一段时间其他(不涉及数据库)处理,比如先查询一些数据,然后将数据处理、生成excel、保存文件并生成url。已知此过长需要非常长时间,那么最终url保存数据库就最好先调用django.db.close_old_connections防止连接丢失

题外话 实际上②所述情况最好从根本上解决处理慢的问题,也可以换作异步处理,从根本上解决问题。

原文链接:

转载于:https://www.cnblogs.com/lovellll/p/10229957.html

你可能感兴趣的文章
6.4 Linked List 重做
查看>>
小米路由
查看>>
QT 学习 之 窗口拖拽 实现
查看>>
PHP的ftp文件,多文件上传操作类
查看>>
js中清空数组的方法
查看>>
python def说明
查看>>
Java根据IP获取国家省级地市信息
查看>>
自动安装系统及网络安装服务
查看>>
常见的Python语言IOError错误原因?
查看>>
好程序员web前端培训分享HTML基本结构和基本语法
查看>>
好程序员web前端分享前端的开发规范
查看>>
11g RAC 更改归档模式 ,归档文件存放在ASM 磁盘组
查看>>
Visual Studio安装项目中将用户选择的安装路径写入注册表的方法[转]
查看>>
【转载】VBA:调用文件夹对话框的几种方法
查看>>
centos rm命令恢复删除的文件
查看>>
eclipse修改源码导出jar包
查看>>
5、根文件系统原理
查看>>
回档|过河
查看>>
perspective transform透视矩阵快速求法+矩形矫正
查看>>
go语言中在变量后加上接口是什么意思?
查看>>