Django实现静态文件缓存到云服务的操作方法

一般与页面有关的系统都会有大量的静态文件,包括js、css以及图标图片等,这些文件一般是项目的相对路径,在加载的时候会从本地读取再转发出去。由于这类文件一般比较大,导致接口响应变长,但是这些文件一般很少改动,所以非常适合通过Nginx或者云服务来缓存。一般云服务与cdn无缝集成,能够更快下发到客户端。我们后台系统很多使用的是基于python的Django框架,该怎么来实现静态文件缓存呢?

这个过程简单的让人惊讶,但是开始一直搞不清楚关系,前前后后耽误了不少时间。

1.collectstatic命令

首先 Django有一个collectstatic的命令,该脚本的功能是将本地的静态文件以及需要的依赖,例如Django和python自己需要的静态文件等打包到一个统一的目录下。这有点类似于maven发布前的打包功能。

这个脚本一般在上线的时候会执行。例如我们的启动脚本里这么写的:

sh collectstatic.sh

然后在djang的配置文件里加这么一行:

static-map = /static=./static_files

我们将本地的静态文件打包发送到云服务就是用collectstatic来实现的。

2.如何发布到云服务

方法非常简单,代码也非常少,但是貌似很多地方都没说清楚为什么,害的我搞了好久,白了很多垃圾代码。

首先你要新建一个继承了Storage的类,例如这样子:

@deconstructible
class CosStorage(Storage):

上面的注解也必须要有的。

然后在很多材料里会将,要在这里类里实现多个方法,有的是以_开头,有的就是普通的类,我理解_开头的主要是collectstatic执行的方法,而不带的是程序执行的时候调用的。前者类似java中的各类service,程序启动的时候就会执行。而后者类似controller下的接口,只有外部调用的时候才会执行。

以_开头的方法最重要的是下面这三个:

def __init__(self):
        logging.info('init cos file list...')
        self.get_cos_file_list()

    # 看看这里是否需要
    def _open(self, name, mode='r'):
        return File(open(self.path(name), mode))

    def _save(self, name, content):
        cms.util.upload_os_file(FileBizType.TRUMAN_CMS_STATIC_FILES, content, name, name)
            time.sleep(0.02)

__init__自然是为了初始化而设置的。根据需要写对应的代码,例如调用云服务需要的签名等等

_open()这个我当时忘了测试一下有没有用了,按道理这里是打开文件的,反正我是上么这么写的。

_save(self, name, content)是最关键的代码。这个接口是理解Storage的两大钥匙。这个方法的功能是处理当前已经打开的文件,文件标题就是name,content就是将文件内容转换成的字节流,你直接用就行。这个该怎么理解呢?

name的含义:假如你的静态路径很深,文件很多,类型也很杂。那么Storage首先就帮你处理路径的问题了,name就是相对路径+文件名。所以你传的时候使用name就将相对目录一起传过去了。

content的含义:content就是文件的内容,不管是js、css、还是图标图片,在网络传的时候都会先转换成字节流是不是。这里的content就是当前文件的字节流。所以就使用upload_os_file(content) 就将文件内容发出去了,不需要自己再读文件 ,转换成字节流等操作。不过这里的upload_os_file是我自己的业务代码,你可以根据需要做对应的实现。

另外一个重要的问题是_save一次只处理一个文件,所以你写这个方法里的代码的时候只要考了一个文件就行了,不用多此一举写批量等逻辑。

这里还有一点就是如果不加限制,_save的执行速度会非常快 ,一下就将所有文件全部读到,并且一个文件一个请求全部发出去,这可能导致服务端来不及处理而被拒绝等情况。方法也很简单,_save里加个等待就行了

time.sleep(0.02)

上面的代码在服务启动过程中执行到collectstatic时会自动扫描,自动加载,自动执行,但是你要在自己的配置文件中添加如下信息,否则会找不到。

STATICFILES_STORAGE = 'cos.cos_storage.CosStorage'

3.访问时是如何重定向到cos的

将文件存到云服务之后,页面执行的时候怎么访问呢?

这就涉及到Storage的其他几个方法了,主要是:

def listdir(self, path):
        pass

    def delete(self, name):
        pass

    def size(self, name):
        pass

    def url(self, name):
      url = cms.util.get_file_os_download_url(name)
        return url

    def exists(self, name):
        pass

上面看名字我们就能大致知道功能,最重要的是url()方法,这个是理解Storage的第二把钥匙。

这里的name就是文件在云服务中的相对路径,你需要将拼接一下你的域名等就是文件的地址了。然后返回就行了。

如果静态文件都是公开的,这里的url貌似不写也行,能够自动实现将域名和文件相对路径拼接程完整的访问url。

但是在我们的系统中,静态文件是不允许直接访问,需要带签名的。 所以我们这里需要在url里通过自定义的get_file_os_download_url()方法去访问我们另外一个服务。

但是这里有一个坑,就是python的基础包中也会用相对路径访问自己的静态文件,也就是这么写"/title.png"等,这种情况无法被url拦截到。因为我们业务的代码里是统一加前缀/static/的。

该怎么拦截,至今没有解决,如果你知道,请和我说,谢谢!

到此这篇关于Django实现静态文件缓存到云服务的操作方法的文章就介绍到这了,更多相关Django静态文件缓存内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • 详解Django模版中加载静态文件配置方法

    1.settings.INSTALLED_APPS下添加:django.contrib.staticfiles 2.settings.py下添加:STATIC_URL = '/static/' 3. (1)在APP下新建文件夹static,然后在这个static文件夹下创建一个当前APP的名字的文件夹,再把静态文件放到这个文件夹下:(类似于Templates配置) 在模板中这样调用: {% load static %} <img src="{% static 'front/logo.jpg

  • django静态文件加载的方法

    在模板中往往要加载静态文件,如CSS, JavaScript,图片等.那么这些文件在django中如何才能正确加载呢? 首先要在settings文件中进行设置,关于静态文件的设置选项主要由以下几项: 1. STATIC_URL = '/static/' 指定静态文件查找的url.这样设置后一般来说我们只要把静态文件放在 APP 中的 static 目录下就可以,但是有时我们有一些共用的静态文件,这时候可以设置 STATICFILES_DIRS 另外弄一个文件夹. 2.STATIC_ROOT =o

  • django中静态文件配置static的方法

    环境 centos7 django 1.11 nginx 白话 我们可以使用Template 设置我们的网页,同时,一个完美的网页需要css,js,image 等静态文件的支持. django中配置方式貌似有不少总,因为很多相关的博客写的方式并不一致,当然这可能是django 的版本不同导致的. 当我们在一个项目下创建一个app后,我们就需要为该app下创建一个static 文件夹来存放相关静态资源. 但创建了多个app后,就需要在多个app下创建static. 这样引入了一个问题,因为,我们的

  • django模板加载静态文件的方法步骤

    加载静态文件 在一个网页中,不仅仅只有一个 html 骨架,还需要 css 样式文件, js 执行文件以及一些图片等.因此在 DTL 中加载静态文件是一个必须要解决的问题.在 DTL 中,使用 static 标签来加载静态文件.要使用 static 标签,首先需要 {% load static %} .加载静态文件的步骤如下: 首先确保 django.contrib.staticfiles 已经添加到 settings.INSTALLED_APPS 中. 确保在 settings.py 中设置了

  • 如何在Django项目中引入静态文件

    今天继续学习Django,今天主要掌握两个小点 一.如果为Django项目中引入静态文件 1.先要在project目录下创建static的目录,然后将jquery文件拷贝这个目录下就可以了 2.在project的settings文件中静态文件的路径,注意,这里的逗号千万不可省略,不然Django会报错的 3.在html文件就可以引入这个jquery文件了 二.下面我们学习下如何前台提交数据到后台 1.先在html文件中写一个form表单,用来提交数据,我们就提交db这个url中,用post的方式

  • Django实现静态文件缓存到云服务的操作方法

    一般与页面有关的系统都会有大量的静态文件,包括js.css以及图标图片等,这些文件一般是项目的相对路径,在加载的时候会从本地读取再转发出去.由于这类文件一般比较大,导致接口响应变长,但是这些文件一般很少改动,所以非常适合通过Nginx或者云服务来缓存.一般云服务与cdn无缝集成,能够更快下发到客户端.我们后台系统很多使用的是基于python的Django框架,该怎么来实现静态文件缓存呢? 这个过程简单的让人惊讶,但是开始一直搞不清楚关系,前前后后耽误了不少时间. 1.collectstatic命

  • Spring Boot Web 静态文件缓存处理的方法

    采用Spring Boot + Freemarker开发Web项目时,由于一些静态文件比较大,如果是在PC上访问影响不大,当在手机上访问时,特别是用流量访问时速度会慢很多,而且很耗流量. 通过对请求进行抓包,可以发现每次进入一个页面都需要加载静态文件,如果不差钱的公司可以将静态文件放在CDN上来加快访问速度,或者用Nginx来做静态文件的缓存. 今天给大家介绍一种其他的缓存优化方式,通过Spring的缓存机制来缓存静态文件,在Spring Boot中配置静态文件缓存只需要在配置文件中加入下面的配

  • 如何利用node实现静态文件缓存详解

    目录 缓存 缓存位置分类 缓存设置header node实现静态文件缓存 强缓存 思路 代码实现 效果展示 协商缓存 思路 代码实现 效果展示 总结 缓存 浏览器缓存(Brower Caching)是浏览器对之前请求过的文件进行缓存,以便下一次访问时重复使用,节省带宽,提高访问速度,降低服务器压力 缓存位置分类 memory cache:内存中的缓存,关闭浏览器则清空,一般存储一些js库 disk cache:硬盘中的缓存,关闭浏览器不会马上清空,一般存储大文件,比如 图片资源,iconFont

  • Django 添加静态文件的两种实现方法(必看篇)

    Django添加静态文件有两种方法: 首先setting.py配置文件中添加静态文件的路径: STATICFILES_DIRS = [ os.path.join(BASE_DIR, "statics"),]  statices为你所建立的存放静态文件的文件夹名 然后进行引用. 1.html 文件中通过 /static/资源名的方式,就可以访问到资源 2.①html 文件头部填写  {% load staticfiles %},②路径填写  {% static 'css/xx.css'

  • Django框架静态文件使用/中间件/禁用ip功能实例详解

    本文实例讲述了Django框架静态文件使用/中间件/禁用ip功能.分享给大家供大家参考,具体如下: 静态文件 一.静态文件的使用 静态文件:网页中使用的css,js,图片 静态文件的使用: 在项目下创建静态目录,比如:static,导入静态文件(HTML.CSS.js) 在setting.py中配置静态目录 # 通过此url来引用静态文件,可以隐藏服务器的文件的实际保存目录 STATIC_URL = '/abc/' # 指定静态文件所在的物理目录 STATICFILES_DIRS = [os.p

  • django之静态文件 django 2.0 在网页中显示图片的例子

    小白,有错的地方,希望大家指正~ 使用的是django2.0 python3.6 1.首先,要在settings.py中设置 MEDIA_URL = '/media/' MEDIA_ROOT = os.path.join(BASE_DIR,'media/') 2.url.py中,在加入 from django.conf.urls.static import static from . import settings urlpatterns = [ path('admin/', admin.sit

  • Django框架静态文件处理、中间件、上传文件操作实例详解

    本文实例讲述了Django框架静态文件处理.中间件.上传文件操作.分享给大家供大家参考,具体如下: Django静态文件处理.中间件.上传文件 静态文件处理 在Django中,一般专门创建一个static目录来存放静态文件(css,js,image,video等文件). a. 在创建目录前,我们需要配置静态文件的路径.如: #在项目的settings.py文件中,配置STATIC_URL,一般默认是: STATIC_URL = '/static/' # '/static/'是指uri,映射下面的

  • 使用SpringBoot2.x配置静态文件缓存

    HTTP浏览器缓存 对这部分知识不太熟悉的,可以先看一下这篇文章:HTTP浏览器缓存机制 配置文件yml配置 spring: resources: static-locations: classpath:/static/,classpath:/views/,classpath:/templates/ chain: strategy: #MD5实现 content: enabled: true paths: /** #版本号管理(与MD5实现方式同时存在时,需要指定不同的路径,来分别实现对应的文件

  • python django 访问静态文件出现404或500错误

    django static文件夹下面的内容方法不了 出现404 500错误 需要查看自己的settings文件确保有一下内容 import os PROJECT_ROOT = os.path.dirname(__file__) DEBUG = True STATIC_URL = '/static/' STATICFILES_DIRS = ( os.path.join(PROJECT_ROOT, 'static'), ) STATICFILES_FINDERS = ( 'django.contri

随机推荐