如何在django里上传csv文件并进行入库处理的方法

2024-09-28 03:37:22

运维平台导入数据这一功能实在是太重要了，我敢说在没有建自己的cmdb平台前，大多数公司管理服务器信息肯定是表格，用表格最麻烦的就是有点更新就得每个人发一份，这样大家信息才能统一，很不方便，终于有一天受不了了，搞了一个服务器信息管理平台，那面临的第一个问题不是说功能好或不不好，而是怎么才能把表里的数据导入到数据库中，所以你说重要不重要，当然如果你就喜欢自己手工录入（找虐的感觉），这个咱也不能说啥，各有所好嘛，那具体如何录的最快，这个不在我们今天的讨论范围，我只讨论如何自动导入。

提到导入，那一般有二个方法，一个是在前端上传完后存储在服务器上的某个目录里，然后读取文件进行分析处理。

另一种是上传文件后直接读取文件内容而不存储在服务器上，这二种方法都可以实现我们得目的，这篇主要是讨论的后面这种。

上传文件，首先我们建一个html文件，内容代码如下：

<form action="{% url "myapp:upload_csv" %}" method="POST" enctype="multipart/form-data" class="form-horizontal">
{% csrf_token %}
<div class="form-group">
  <label for="name" class="col-md-3 col-sm-3 col-xs-12 control-label">File: </label>
  <div class="col-md-8">
    <input type="file" name="csv_file" id="csv_file" required="True" class="form-control">
  </div>
</div>
<div class="form-group">
  <div class="col-md-3 col-sm-3 col-xs-12 col-md-offset-3" style="margin-bottom:10px;">
     <button class="btn btn-primary"> <span class="glyphicon glyphicon-upload" style="margin-right:5px;"></span>Upload </button>
  </div>
</div>
</form>

这些都是基本的Html,只要主要enctype=”multipart/form-data”这个参数就可以，其它无特别说明。

展示如图：

加入路由，

url(r'^upload/csv/$', views.upload_csv, name='upload_csv'),

那接下来就是处理上传的文件并入库了，这个代码在views.py文件里，代码如下：

def upload_csv(request):
	data = {}
	if "GET" == request.method:
		return render(request, "myapp/upload_csv.html", data)
  # if not GET, then proceed
	try:
		csv_file = request.FILES["csv_file"]
		if not csv_file.name.endswith('.csv'):
			messages.error(request,'File is not CSV type')
			return HttpResponseRedirect(reverse("myapp:upload_csv"))
    #if file is too large, return
		if csv_file.multiple_chunks():
			messages.error(request,"Uploaded file is too big (%.2f MB)." % (csv_file.size/(1000*1000),))
			return HttpResponseRedirect(reverse("myapp:upload_csv"))

		file_data = csv_file.read().decode("utf-8")		

		lines = file_data.split("\n")
		#loop over the lines and save them in db. If error , store as string and then display
		for line in lines:
			fields = line.split(",")
			data_dict = {}
			data_dict["name"] = fields[0]
			data_dict["start_date_time"] = fields[1]
			data_dict["end_date_time"] = fields[2]
			data_dict["notes"] = fields[3]
			try:
				form = EventsForm(data_dict)
				if form.is_valid():
					form.save()
				else:
					logging.getLogger("error_logger").error(form.errors.as_json())
			except Exception as e:
				logging.getLogger("error_logger").error(repr(e))
				pass

	except Exception as e:
		logging.getLogger("error_logger").error("Unable to upload file. "+repr(e))
		messages.error(request,"Unable to upload file. "+repr(e))

	return HttpResponseRedirect(reverse("myapp:upload_csv"))

代码解释：

最开始判断如果是get请求直接渲染upload_csv.html文件，如果是post请求那么进行分析处理，首先是检查文件名是否是以csv结尾的，如果是就处理，不是就提示错误信息，再就是检查下上传文件的大小，其实这些检查也还好，如果是自己整理的表导入基本也不用做这些检查了，如果是有多人操作这些检查就有必要了，然后开始循环迭代文件行，内容是以逗号分隔，这里假设就是4列，如果你的表格列很多可以做修改，最后保存入库，如果有错误就记录错误信息到日志文件中。

至此我们需要的功能就完成了，虽然简单但非常实用。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

python django下载大的csv文件实现方法分析

本文实例讲述了python django下载大的csv文件实现方法.分享给大家供大家参考,具体如下: 接手他人项目,第一个要优化的点是导出csv的功能,而且要支持比较多的数据导出,以前用php实现过,直接写入php://output就行了,django怎么做呢?如下: 借助django的StreamingHttpResponse和python的generator def outputCSV(rows, fname="output.csv", headers=None): def get
Python GAE、Django导出Excel的方法

但GAE.Django并没有直接将pyExcelerator导出为Excel的方法.我的思路是先用把数据导入到Workbook和Worksheet中,如果存为文件可以直接调用Workbook的save方法,但GAE不支持本地文件操作,即使图片也只能存放在DataStore中,但我们可以类似于返回图片的方法,直接将Excel的二进制流返回给浏览器.这就需要修改一下Workbook的代码,加入返回二进制流的方法,我给他取的名字是savestream,在savestream中再次调用CompoundD
在Python的Django框架中生成CSV文件的方法

CSV 是一种简单的数据格式,通常为电子表格软件所使用. 它主要是由一系列的表格行组成,每行中单元格之间使用逗号(CSV 是逗号分隔数值(comma-separated values) 的缩写)隔开.例如,下面是CSV格式的"不守规矩"的飞机乘客表. Year,Unruly Airline Passengers 1995,146 1996,184 1997,235 1998,200 1999,226 2000,251 2001,299 2002,273 2003,281 2004,3
Django Admin中增加导出CSV功能过程解析

参考 https://books.agiliq.com/projects/django-admin-cookbook/en/latest/export.html 在使用Django Admin时, 对于列表我们有时需要提供数据导出功能, 如下图: 增加导出CSV功能在Django Admin中每个模型的Admin类(继承至admin.ModelAdmin), 我们可以通过actions增加支持的动作, 值为当前类存在的方法名, 例如: ....... @admin.register(Issue
Django admin实现图书管理系统菜鸟级教程完整实例

Django 有着强大而又及其易用的admin后台,在这里,你可以轻松实现复杂代码实现的功能,如搜索,筛选,分页,题目可编辑,多选框. 简单到,一行代码就可以实现一个功能,而且模块之间耦合得相当完美. 不信,一起来看看吧!?用Django实现管理书籍的系统,并能在前台界面对书籍进行增删查改,筛选,分页,以及批量查询修改功能. 准备工作 #准备好你的数据库模型思维导图 0.新建一个Django项目,起名为books,并且同时新建一个应用book11 1.首先要设置models模块,根据思维导图,我
在Python的Django框架中用流响应生成CSV文件的教程

在Django里,流式响应StreamingHttpResponse是个好东西,可以快速.节省内存地产生一个大型文件. 目前项目里用于流式响应的一个是Eventsource,用于改善跨系统通讯时用户产生的慢速的感觉.这个不细说了. 还有一个就是生成一个大的csv文件. 当Django进程处于gunicorn或者uwsgi等web容器中时,如果响应超过一定时间没有返回,就会被web容器终止掉,虽然我们可以通过加长web容器的超时时间来绕过这个问题,但是毕竟还是治标不治本.要根本上解决这个问题,Py
如何在django里上传csv文件并进行入库处理的方法

运维平台导入数据这一功能实在是太重要了,我敢说在没有建自己的cmdb平台前,大多数公司管理服务器信息肯定是表格,用表格最麻烦的就是有点更新就得每个人发一份,这样大家信息才能统一,很不方便,终于有一天受不了了,搞了一个服务器信息管理平台,那面临的第一个问题不是说功能好或不不好,而是怎么才能把表里的数据导入到数据库中,所以你说重要不重要,当然如果你就喜欢自己手工录入(找虐的感觉),这个咱也不能说啥,各有所好嘛,那具体如何录的最快,这个不在我们今天的讨论范围,我只讨论如何自动导入. 提到导入,那一般有
yii2.0框架实现上传excel文件后导入到数据库的方法示例

本文实例讲述了yii2.0框架实现上传excel文件后导入到数据库的方法.分享给大家供大家参考,具体如下: Model模型 <?php /** * 描述... * @author zcy * @date 2019/8/13 */ namespace app\models; use yii\base\Model; use yii\db\ActiveRecord; use yii\web\UploadedFile; class uploadForm extends ActiveRecord { pu
WordPress中"无法将上传的文件移动至"错误的解决方法

今天在网页上传图片到博客,结果提示:"无法将上传的文件移动至 /home/wwwroot/wp-content/uploads/2013/",郁闷了,认为是权限问题,修改了文件,都改成了777的权限,但是还是不可以写入,图片无法上传. 索性,我查看了我的网站根目录文件夹的权限,显示是www ,www ,而用ps aux|grep nginx 显示的是nobody 的身份运行nginx的子程序,ps aux|grep php-fpm,显示的也是nobody.同时发现,我网站里的其他的文
WordPress中"无法将上传的文件移动至"错误的解决方法

今天在网页上传图片到博客,结果提示:"无法将上传的文件移动至 /home/wwwroot/wp-content/uploads/2013/",郁闷了,认为是权限问题,修改了文件,都改成了777的权限,但是还是不可以写入,图片无法上传. 索性,我查看了我的网站根目录文件夹的权限,显示是www ,www ,而用ps aux|grep nginx 显示的是nobody 的身份运行nginx的子程序,ps aux|grep php-fpm,显示的也是nobody.同时发现,我网站里的其他的文
asp.net上传Excel文件并读取数据的实现方法

前言本文主要给大家介绍了关于asp.net上传Excel文件并读取数据的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧实现如下: 前台代码:使用服务端控件实现上传 <form id="form1" runat="server"> <div> <asp:FileUpload ID="ExcelFileUpload" runat="server" /> <as
Django Admin 上传文件到七牛云的示例代码

中文圈关于Django Admin 上传文件到七牛云的资料和函数库已经是2年前的了,国外的则都是关于AWS S3.Azure Storage一些国外的服务的.我根据Django的文档里提到的存储系统来实现上传文件到七牛云的简单功能. 在Django Admin的表单是根据数据模型生成的,其中文件上传由FileField和继承FileField的ImageField来决定的,文件上传到静态文件目录,数据库保存相对路径.实现上传文件到七牛云我们是根据FileField的storage参数来实现的.
Django 解决上传文件时,request.FILES为空的问题

用html的form上传文件时,request.FILES为空,没有收到上传来的文件,但是在request.POST里找到了上传的文件名(只是一个字符串). 解决方法: 为form表单规定enctype属性,其值为"multipart/form-data". enctype 属性规定在发送到服务器之前应该如何对表单数据进行编码. 值描述 application/x-www-form-urlencoded 在发送前编码所有字符(默认) multipart/form-data 不对字符编
django 通过URL访问上传的文件方法

Django2.0 通过URL访问上传的文件(pdf.picture等) Django是一个成熟的web框架,基于python实现,有很多的优点,很容易快速上手(详见官网:https://www.djangoproject.com/)的文档,Django2.0的文档有1872页,不得不说是非常全的,文档是可谓包罗万象. Django给我的感觉是很好很强大,至少比flask要完整的多,如果实现一个简单的需求,flask足够了,不过要安装各种依赖包,一个字繁琐!而Django则集成了非常非常全的功能
Django后台获取前端post上传的文件方法

由于初学Django所以对于其特有的表单模板和models中的filefiled并不是特别熟悉.因此在本次开发中还是依照以往自己在html中写好图片提交表单: 注意在<form>表单的定义中一定要加上enctype＝ "multipart/form-data"属性,否则后台可能会取不到文件. 在form表单后一定要有{% csrf_token %} 我们在控制页面可以看到,当我们通过这样的表单进行提交后,FILES一栏中会有一个文件. 我们可以在views.py中通过 im
Django中文件上传和文件访问微项目的方法

Django中上传文件方式. 如何实现文件上传功能? 1创建项目uploadfile: 创建app:front 项目设置INSTALLED_APPS中添加'front' INSTALLED_APPS = [ ''' 'front' ] #后面添加MEDIA_ROOT和MEDIA_URL STATIC_URL = '/static/' STATIC_ROOT = os.path.join(BASE_DIR,'static') MEDIA_ROOT = os.path.join(BASE_DIR,'

如何在django里上传csv文件并进行入库处理的方法

相关推荐

随机推荐