浅谈Django 页面缓存的cache_key是如何生成的

页面缓存

e.g.

@cache_page(time_out, key_prefix=key_prefix)
def my_view():
 ...

默认情况下,将使用配置中的default cache

cache_page 装饰器是由缓存中间件 CacheMiddleware 转换而来的

CacheMiddleware 继承了 UpdateCacheMiddleware 和 FetchFromCacheMiddleware

UpdateCacheMiddleware 继承自 MiddlewareMixin ,只重写了 process_response 方法,用于在处理完视图之后将视图缓存起来

class UpdateCacheMiddleware(MiddlewareMixin):
 def process_response(self, request, response):
  """Sets the cache, if needed."""
  ...
  if timeout and response.status_code == 200:
   # 根据请求和响应参数、设定的key_prefix生成页面缓存的key
   cache_key = learn_cache_key(request, response, timeout, self.key_prefix, cache=self.cache)
   self.cache.set(cache_key, response, timeout)
  return response

FetchFromCacheMiddleware 继承自 MiddlewareMixin ,只重写了 process_request 方法,用于获取当前视图的缓存

# django/middleware/cache.py
class FetchFromCacheMiddleware(MiddlewareMixin):
 def process_request(self, request):
  """
  Checks whether the page is already cached and returns the cached
  version if available.
  """
  # 只对方法为 GET 或 HEAD 的请求获取缓存
  if request.method not in ('GET', 'HEAD'):
   request._cache_update_cache = False
   return None # Don't bother checking the cache.

  # try and get the cached GET response
  # 这里会根据请求的信息、缓存键前缀生成一个cache_key。默认情况下,访问同一个接口其cache_key应该相同
  cache_key = get_cache_key(request, self.key_prefix, 'GET', cache=self.cache)
  if cache_key is None:
   request._cache_update_cache = True
   return None # No cache information available, need to rebuild.
  # 如果获取到response,则直接返回缓存的response,那么实际的视图就不会被执行
  response = self.cache.get(cache_key)
  # if it wasn't found and we are looking for a HEAD, try looking just for that
  if response is None and request.method == 'HEAD':
   cache_key = get_cache_key(request, self.key_prefix, 'HEAD', cache=self.cache)
   response = self.cache.get(cache_key)

  if response is None:
   # 如果没有获取到缓存,将返回None,则会执行到实际的视图,并且重建缓存
   request._cache_update_cache = True
   return None # No cache information available, need to rebuild.

  # hit, return cached response
  request._cache_update_cache = False
  return response

页面缓存的cache_key

这一节将回答两个问题:

  1. 为什么在redis中,一个页面会保存两个key:cache_key以及cache_header?
  2. 页面缓存是如何被唯一标识的?当请求头不同的时候(比如换了一个用户请求相同的页面)会使用同一个缓存吗?

​ 我们先从保存缓存视图过程中的learn_cache_key开始

# django/utils/cache.py
def learn_cache_key(request, response, cache_timeout=None, key_prefix=None, cache=None):
 # 见下文,这个cache_key由 request的完整url 以及 key_prefix 唯一确定
 cache_key = _generate_cache_header_key(key_prefix, request)
 if cache is None:
  # cache 是一个缓存实例
  cache = caches[settings.CACHE_MIDDLEWARE_ALIAS]
 # Vary 是一个HTTP响应头字段。其内容是一个或多个http头部名称
 # 比如 `Vary: User-Agent` 表示此响应根据请求头 `User-Agent` 的值有所不同
 # 只有当下一个请求的 `User-Agent` 值与当前请求相同时,才会使用当前响应的缓存
 if response.has_header('Vary'):
  headerlist = []
  for header in cc_delim_re.split(response['Vary']):
   # 将 Vary 中出现的 http头部名称 加到 headerlist 中去
   header = header.upper().replace('-', '_')
   headerlist.append('HTTP_' + header)
  headerlist.sort()
  # 当前 cache_key 实际上是 cache_header_key,它存的是响应头中Vary字段的值
  cache.set(cache_key, headerlist, cache_timeout)
  # 这里返回的才是页面内容对应的 cache_key,它由
  # 出现在Vary字段中的request请求头字段的值(有序拼在一起)、request的完整url、request的method、key_prefix 唯一确定
  return _generate_cache_key(request, request.method, headerlist, key_prefix)
 else:
  # if there is no Vary header, we still need a cache key
  # for the request.build_absolute_uri()
  cache.set(cache_key, [], cache_timeout)
  return _generate_cache_key(request, request.method, [], key_prefix)

def _generate_cache_header_key(key_prefix, request):
 """Returns a cache key for the header cache."""
 # request.build_absolute_uri()返回的是完整的请求URL。如 http://127.0.0.1:8000/api/leaflet/filterList?a=1
 # 因此,请求同一个接口,但是接口参数不同,会生成两个cache_key
 url = hashlib.md5(force_bytes(iri_to_uri(request.build_absolute_uri())))
 cache_key = 'views.decorators.cache.cache_header.%s.%s' % (
  key_prefix, url.hexdigest())
 return _i18n_cache_key_suffix(request, cache_key)

def _generate_cache_key(request, method, headerlist, key_prefix):
 """Returns a cache key from the headers given in the header list."""
 ctx = hashlib.md5()
 # headerlist是响应头中Vary字段的值
 for header in headerlist:
  # 出现在Vary字段中的request请求头字段的值
  value = request.META.get(header)
  if value is not None:
   ctx.update(force_bytes(value))
 url = hashlib.md5(force_bytes(iri_to_uri(request.build_absolute_uri())))
 cache_key = 'views.decorators.cache.cache_page.%s.%s.%s.%s' % (
  key_prefix, method, url.hexdigest(), ctx.hexdigest())
 return _i18n_cache_key_suffix(request, cache_key)
​ 再看获取缓存的get_cache_key方法

def get_cache_key(request, key_prefix=None, method='GET', cache=None):
 # 由 request的完整url 以及 key_prefix 生成 cache_header_key
 cache_key = _generate_cache_header_key(key_prefix, request)
 # headerlist是之前缓存的 与当前请求具有相同cache_header_key 的请求的响应的响应头中Vary字段的值
 headerlist = cache.get(cache_key)
 # 即使响应头没有Vary字段,还是会针对当前 cache_header_key 存一个空数组
 # 因此如果headerlist为None,表示当前请求没有缓存
 if headerlist is not None:
  # 根据 出现在Vary字段中的request请求头字段的值(有序拼在一起)、request的完整url、request的method、key_prefix 生成 cache_key
  return _generate_cache_key(request, method, headerlist, key_prefix)
 else:
  return None

​ 综上所述:

  • cache_header中存的是响应头Vary字段的值,cache_key存的是缓存视图
  • cache_key由 出现在Vary字段中的request请求头字段的值(有序拼在一起)、request的完整url、request的method、key_prefix 唯一确定
  • 当请求头不同的时候,有可能会使用同一个缓存,这取决于不同的请求头字段名是否出现在响应头Vary字段中。比如,如果响应头中有 Vary: User-Agent ,那么 User-Agent 不同的两个请求必然生成不同的 cache_key,因此就不会使用同一个缓存。但如果只是在请求头加一个 cache-control: no-cache (浏览器提供的Disable cache功能),访问同样的url,那还是会命中之前的缓存的

到此这篇关于浅谈Django 页面缓存的cache_key是如何生成的的文章就介绍到这了,更多相关Django cache_key页面缓存内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Django缓存Cache使用详解

    缓存(Cache)对于创建一个高性能的网站和提升用户体验来说是非常重要的,然而对我们这种只用得起拼多多的码农而言最重要的是学会如何使用缓存.今天我们就来看看缓存Cache应用场景及工作原理吧,并详细介绍如何在Django中设置Cache并使用它们. 什么是缓存Cache 缓存是一类可以更快的读取数据的介质统称,也指其它可以加快数据读取的存储方式.一般用来存储临时数据,常用介质的是读取速度很快的内存.一般来说从数据库多次把所需要的数据提取出来,要比从内存或者硬盘等一次读出来付出的成本大很多.对于中

  • 浅析Python的Django框架中的Memcached

    动态网站的问题就在于它是动态的. 也就是说每次用户访问一个页面,服务器要执行数据库查询,启动模板,执行业务逻辑以及最终生成一个你所看到的网页,这一切都是动态即时生成的. 从处理器资源的角度来看,这是比较昂贵的. 对于大多数网络应用来说,过载并不是大问题. 因为大多数网络应用并不是washingtonpost.com或Slashdot:它们通常是很小很简单,或者是中等规模的站点,只有很少的流量. 但是对于中等至大规模流量的站点来说,尽可能地解决过载问题是非常必要的. 这就需要用到缓存了. 缓存的目

  • 详解一种用django_cache实现分布式锁的方式

    问题背景 在项目开发过程中,我遇到一个需求:对于某条记录,一个用户对它进行操作时会持续比较久,希望在一个用户的操作期间,不允许有另一个用户操作它,否容易会出现混乱. 在与同事们讨论后,想通过加锁的方式,起初想用redis锁,但这样会为项目增加别的依赖,因此转而使用django-cache的缓存数据库,来实现该功能. 资料查找 基于缓存实现分布式锁,在网络上查找了实现方式,大概可以总结为以下3种: 第一种锁命令INCR 这种加锁的思路是, key 不存在,那么 key 的值会先被初始化为 0 ,然

  • Django中的CACHE_BACKEND参数和站点级Cache设置

    CACHE_BACKEND参数 每个缓存后端都可能使用参数. 它们在CACHE_BACKEND设置中以查询字符串形式给出. 有效参数如下: timeout:用于缓存的过期时间,以秒为单位. 这个参数默认被设置为300秒(五分钟). max_entries:对于内存,文件系统和数据库后端,高速缓存允许的最大条目数,超出这个数则旧值将被删除. 这个参数默认是300. cull_percentage :当达到 max_entries 的时候,被删除的条目比率. 实际的比率是 1/cull_percen

  • 浅谈Django 页面缓存的cache_key是如何生成的

    页面缓存 e.g. @cache_page(time_out, key_prefix=key_prefix) def my_view(): ... 默认情况下,将使用配置中的default cache cache_page 装饰器是由缓存中间件 CacheMiddleware 转换而来的 CacheMiddleware 继承了 UpdateCacheMiddleware 和 FetchFromCacheMiddleware UpdateCacheMiddleware 继承自 Middleware

  • 浅谈Django的缓存机制

    由于Django是动态网站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加明显,最简单解决方式是使用:缓存,缓存将一个某个views的返回值保存至内存或者memcache中,5分钟内再有人来访问时,则不再去执行view中的操作,而是直接从内存或者Redis中之前缓存的内容拿到,并返回. Django中提供了6种缓存方式: 开发调试 内存 文件 数据库 Memcache缓存(python-memcached模块) Memcache缓存(pylibmc模块) 通用配置 'TI

  • 浅谈django中的认证与登录

    认证登录 django.contrib.auth中提供了许多方法,这里主要介绍其中的三个: 1  authenticate(**credentials)    提供了用户认证,即验证用户名以及密码是否正确 一般需要username  password两个关键字参数 如果认证信息有效,会返回一个  User  对象.authenticate()会在User 对象上设置一个属性标识那种认证后端认证了该用户,且该信息在后面的登录过程中是需要的.当我们试图登陆一个从数据库中直接取出来不经过authent

  • 浅谈django model的get和filter方法的区别(必看篇)

    django的get和filter方法是django model常用到的,搞清楚两者的区别非常重要. 为了说明它们两者的区别定义2个models class Student(models.Model): name = models.CharField('姓名', max_length=20, default='') age = models.CharField('年龄', max_length=20, default='') class Book(models.Model): student =

  • 浅谈django开发者模式中的autoreload是如何实现的

    在开发django应用的过程中,使用开发者模式启动服务是特别方便的一件事,只需要 python manage.py runserver 就可以运行服务,并且提供了非常人性化的autoreload机制,不需要手动重启程序就可以修改代码并看到反馈.刚接触的时候觉得这个功能比较人性化,也没觉得是什么特别高大上的技术.后来有空就想着如果是我来实现这个autoreload会怎么做,想了很久没想明白,总有些地方理不清楚,看来第一反应真是眼高手低了.于是就专门花了一些时间研究了django是怎样实现autor

  • 浅谈django url请求与数据库连接池的共享问题

    但凡介绍数据库连接池的文章,都会说"数据库连接是一种关键的有限的昂贵的资源,这一点在多用户的网页应用程序中体现得尤为突出.对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性,影响到程序的性能指标.数据库连接池正是针对这个问题提出来的.数据库连接池负责分配.管理和释放数据库连接,它允许应用程序重复使用一个现有的数据库连接,而不是再重新建立一个:释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏.这项技术能明显提高对数据库操作的性能." 这句

  • 浅谈django 模型类使用save()方法的好处与注意事项

    如下所示: def user_degree(self): degree = self.user.update_grade() return degree def save(self, *args, **kwargs): self.degree = self.user_degree() self.p1_user = self.get_p1() self.p2_user = self.get_second() self.p3_user = self.get_third() self.first_ge

  • 浅谈django框架集成swagger以及自定义参数问题

    介绍 我们在实际的开发工作中需要将django框架与swagger进行集成,用于生成API文档.网上也有一些关于django集成swagger的例子,但由于每个项目使用的依赖版本不一样,因此可能有些例子并不适合我们.我也是在实际集成过程中遇到了一些问题,例如如何自定义参数等问题,最终成功集成,并将结果分享给大家. 开发版本 我开发使用的依赖版本,我所使用的都是截止发稿日期为止最新的版本: Django 2.2.7 django-rest-swagger 2.2.0 djangorestframe

  • 浅谈Django前端后端值传递问题

    前端后端传值问题总结 前端传给后端 通过表单传值 1.通过表单get请求传值 在前端当通过get的方式传值时,表单中的标签的name值将会被当做action的地址的参数 此时,在后端可以通过get请求相应的name值拿到对应的value值 例子: html中: <form action="{% url 'backweb:select_art' %}" method="post"> {% csrf_token %} <section class=&q

  • 浅谈Web页面向后台提交数据的方式和选择

    1.通过表单提交 这是HTML支持最传统的提交方法,需要创建表单,然后表单包含各种类型的表单元素,还要有一个提交按钮,通过提交按钮来提交到后台,这种方式提交后页面会刷新. 2.通过网页链接提交 可以在网页的链接附上需要提交的参数,当用户点击链接后,浏览器发起向链接的访问,从而也把链接附带的参数提交到后台,这种方式提交后页面也会刷新. 3.通过ajax提交 Javascript支持ajax方式创建HTTP请求,可以通过在HTML页面元素的事件处理函数中创建ajax请求,在url参数里携带所需提交的

随机推荐