Caffe图像数据转换成可运行leveldb lmdb文件

目录
  • 引言
    • 该文件的使用格式
    • 调用linux命令生成图片清单
    • FLAGS参数组
    • 最后运行脚本文件

引言

在深度学习的实际应用中，我们经常用到的原始数据是图片文件，如jpg,jpeg,png,tif等格式的，而且有可能图片的大小还不一致。

而在caffe中经常使用的数据类型是lmdb或leveldb，因此就产生了这样的一个问题：如何从原始图片文件转换成caffe中能够运行的db（leveldb/lmdb)文件？

在caffe中，作者为我们提供了这样一个文件：convert_imageset.cpp，存放在根目录下的tools文件夹下。编译之后，生成对应的可执行文件放在 buile/tools/ 下面，这个文件的作用就是用于将图片文件转换成caffe框架中能直接使用的db文件。

该文件的使用格式

convert_imageset [FLAGS] ROOTFOLDER/ LISTFILE DB_NAME

需要带四个参数：

  • FLAGS: 图片参数组，后面详细介绍
  • ROOTFOLDER/: 图片存放的绝对路径，从linux系统根目录开始
  • LISTFILE: 图片文件列表清单，一般为一个txt文件，一行一张图片
  • DB_NAME: 最终生成的db文件存放目录

如果图片已经下载到本地电脑上了，那么我们首先需要创建一个图片列表清单，保存为txt

本文以caffe程序中自带的图片为例，进行讲解，图片目录是  example/images/, 两张图片，一张为cat.jpg, 另一张为fish_bike.jpg，表示两个类别。

调用linux命令生成图片清单

我们创建一个sh脚本文件，调用linux命令来生成图片清单：

# sudo vi examples/images/create_filelist.sh

编辑这个文件,输入下面的代码并保存

# /usr/bin/env sh
DATA=examples/images
echo "Create train.txt..."
rm -rf $DATA/train.txt
find $DATA -name *cat.jpg | cut -d '/' -f3 | sed "s/$/ 1/">>$DATA/train.txt
find $DATA -name *bike.jpg | cut -d '/' -f3 | sed "s/$/ 2/">>$DATA/tmp.txt
cat $DATA/tmp.txt>>$DATA/train.txt
rm -rf $DATA/tmp.txt
echo "Done.."

这个脚本文件中，用到了rm,find, cut, sed,cat等linux命令。

  • rm: 删除文件
  • find: 寻找文件
  • cut: 截取路径

sed: 在每行的最后面加上标注。本例中将找到的*cat.jpg文件加入标注为1，找到的*bike.jpg文件加入标注为2

cat: 将两个类别合并在一个文件里。

最终生成如下的一个train.txt文件：

cat.jpg 1
fish-bike.jpg 2

当然，图片很少的时候，手动编写这个列表清单文件就行了。但图片很多的情况，就需要用脚本文件来自动生成了。在以后的实际应用中，还需要生成相应的val.txt和test.txt文件，方法是一样的。

生成的这个train.txt文件，就可以作为第三个参数，直接使用了。

FLAGS参数组

接下来，我们来了解一下FLAGS这个参数组，有些什么内容：

  • -gray: 是否以灰度图的方式打开图片。程序调用opencv库中的imread()函数来打开图片，默认为false
  • -shuffle: 是否随机打乱图片顺序。默认为false
  • -backend:需要转换成的db文件格式，可选为leveldb或lmdb,默认为lmdb
  • -resize_width/resize_height: 改变图片的大小。在运行中，要求所有图片的尺寸一致，因此需要改变图片大小。 程序调用opencv库的resize（）函数来对图片放大缩小，默认为0，不改变
  • -check_size: 检查所有的数据是否有相同的尺寸。默认为false,不检查
  • -encoded: 是否将原图片编码放入最终的数据中，默认为false
  • -encode_type: 与前一个参数对应，将图片编码为哪一个格式：‘png','jpg'......

好了，知道这些参数后，我们就可以调用命令来生成最终的lmdb格式数据了

由于参数比较多，因此我们可以编写一个sh脚本来执行命令：

首先，创建sh脚本文件：

# sudo vi examples/images/create_lmdb.sh

编辑，输入下面的代码并保存

#!/usr/bin/en sh
DATA=examples/images
rm -rf $DATA/img_train_lmdb
build/tools/convert_imageset --shuffle \
--resize_height=256 --resize_width=256 \
/home/xxx/caffe/examples/images/ $DATA/train.txt  $DATA/img_train_lmdb

设置参数-shuffle,打乱图片顺序。设置参数-resize_height和-resize_width将所有图片尺寸都变为256*256.

/home/xxx/caffe/examples/images/ 为图片保存的绝对路径。

最后运行脚本文件

# sudo sh examples/images/create_lmdb.sh

就会在examples/images/ 目录下生成一个名为 img_train_lmdb的文件夹，里面的文件就是我们需要的db文件了。

以上就是Caffe图像数据转换成可运行leveldb lmdb文件的详细内容，更多关于Caffe图像数据转换db文件的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • python与caffe改变通道顺序的方法

    把通道放在前面: image = cv2.imread(path + file) image = cv2.resize(image, (48, 48), interpolation=cv2.INTER_CUBIC) aaaa= np.transpose(image,(2, 0, 1)) print(aaaa) 图像原来shape:(48, 48, 3),改之后shape:(3,48,48) 注意:reshape不能解决通道转换问题 pycaffe做识别时通道转换问题: 要注意一点的就是:Caff

  • python接口调用已训练好的caffe模型测试分类方法

    训练好了model后,可以通过python调用caffe的模型,然后进行模型测试的输出. 本次测试主要依靠的模型是在caffe模型里面自带训练好的结构参数:~/caffe/models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel,以及结构参数 :~/caffe/models/bvlc_reference_caffenet/deploy.prototxt相结合,用python接口进行调用. 训练的源代码以及相应的注释如下所示

  • 导入pytorch时libmkl_intel_lp64.so找不到问题解决

    引言 安装或者更新完pytorch后,运行不了,显示错误: (base) xu@xusu:~$ python Python 3.7.1 (default, Dec 14 2018, 19:28:38) [GCC 7.3.0] :: Anaconda, Inc. on linux Type "help", "copyright", "credits" or "license" for more information. >

  • PyQt5+Caffe+Opencv搭建人脸识别登录界面

    PyQt5+Caffe+Opencv搭建人脸识别登录界面

    最近开始学习Qt,结合之前学习过的caffe一起搭建了一个人脸识别登录系统的程序,新手可能有理解不到位的情况,还请大家多多指教. 我的想法是用opencv自带的人脸检测算法检测出面部,利用caffe训练好的卷积神经网络来提取特征,通过计算当前检测到的人脸与已近注册的所有用户的面部特征之间的相似度,如果最大的相似度大于一个阈值,就可以确定当前检测到的人脸对应为这个相似度最大的用户了. ###Caffe人脸识别 因为不断有新的用户加入,然而添加新用户后重新调整CNN的网络结构太费时间,所以不能用CN

  • Caffe数据可视化环境python接口配置教程示例

    Caffe数据可视化环境python接口配置教程示例

    目录 引言 一.安装python和pip 二.安装pyhon接口依赖库 三.利用anaconda来配置python环境 四.编译python接口 五.安装jupyter 引言 caffe程序是由c++语言写的,本身是不带数据可视化功能的.只能借助其它的库或接口,如opencv, python或matlab.大部分人使用python接口来进行可视化,因为python出了个比较强大的东西:ipython notebook, 现在的最新版本改名叫jupyter notebook,它能将python代码

  • Caffe图像数据转换成可运行leveldb lmdb文件

    目录 引言 该文件的使用格式 调用linux命令生成图片清单 FLAGS参数组 最后运行脚本文件 引言 在深度学习的实际应用中,我们经常用到的原始数据是图片文件,如jpg,jpeg,png,tif等格式的,而且有可能图片的大小还不一致. 而在caffe中经常使用的数据类型是lmdb或leveldb,因此就产生了这样的一个问题:如何从原始图片文件转换成caffe中能够运行的db(leveldb/lmdb)文件? 在caffe中,作者为我们提供了这样一个文件:convert_imageset.cpp

  • 利用pandas将非数值数据转换成数值的方式

    handle non numerical data 举个例子,将性别属性男女转换成0-1,精通ML的小老弟们可以略过本文~~, 这里不考虑稀疏向量的使用,仅提供一些思路.本来想直接利用pandas的DataFrame.iloc加上for循环直接转换,但试过一遍之后,原数据并有改变....蛋疼写了一个比较 菜的函数,如下. # 非数值列处理函数 def handel_non_numerical_data(df,name): #----------------name是需要处理的列名称(str),暂

  • JavaScript将数据转换成整数的方法

    JavaScript提供将数值转成整数的方法parseInt,用于转换字符串数据"123",或者浮点数1.23. 复制代码 代码如下: parseInt("1");  // 1parseInt("1.2");  // 1parseInt("-1.2");  // -1parseInt(1.2);  // 1parseInt(0);  // 0parseInt("0");  // 0 但是这个parseInt

  • 把数据转换成XML格式的好处

    我们常常会碰到需要处理以各种格式(从以逗号或者制表符做分隔符的文件到更负载的格式)保存或者传输的数据的情况,对每一种格式你都需要对应的解析器(parser).这一缺点减缓了开发进度,而且可能会导致错误的发生.一个解决方案就是把常用格式的数据转化成XML文档,然后对它进行保存.处理或者转换成其它格式.一个实例现在已经有好多种实现在软件内部或者软件之间进行数据保存.导出.导入以及传输功能的数据格式.最常见的是定界格式(delimited format),如逗号或者制表符分隔数据格式以及定长数据格式.

  • 使用XSLT将XML数据转换成HTML

    使用一个简单的 XSL 样式表就可以将 XML 数据转换成 HTML.随着 XML 规范的不断演进,在新的版本中满足每个人的需要似乎已经成为必要:不幸的是,进行简单的转换一直都困扰着规范. 假设我有一个表示一个页面内容的 XML 数据,现在我想将其内容转换成布局.下面是我想要转换的 XML: <?xml version='1.0'?><?xml-stylesheet type="text/xsl" href="article.xsl"?>&l

  • 用js将long型数据转换成date型或datetime型的实例

    数据库中存储的日期格式有date型(yyyy-MM-dd格式日期)与datetime型(yyyy-MM-dd 00:00:00格式日期),当用Java程序将数据库中的日期数据传向前端时,若后台没有方法处理日期,则将以Long型数据传向前端.例如: 数据库存储的日期为:2017-01-06 20:30:00 前端获取到(通过ajax进行交互)的日期格式为:1483705800000 在前端页面中要显示正确的日期格式. 下面是将long型转换为date型或datetime型日期格式的js方法: 返回

  • php实现数组中索引关联数据转换成json对象的方法

    本文实例讲述了php实现数组中索引关联数据转换成json对象的方法.分享给大家供大家参考.具体实现方法如下: public static function encode(&$var) { return '{'.implode(',',self::encodeExcute($var)).'}'; } private static function encodeExcute(&$var) { $json = array(); switch (gettype($var)) { case 'arr

  • C#将Excel中的数据转换成DataSet

    使用C#在不借助第三方插件的情况下将Excel中的数据转换成DataSet /// <summary> /// EXCEL数据转换DataSet /// </summary> /// <param name="filePath">文件全路径</param> /// <param name="search">表名</param> /// <returns></returns>

  • python读取csv和txt数据转换成向量的实例

    最近写程序需要从文件中读取数据,并把读取的数据转换成向量. 查阅资料之后找到了读取csv文件和txt文件两种方式,下面结合自己的实验过程,做简要记录,供大家参考: 1.读取csv文件的数据 import csv filtpath = "data_test.csv" with open(filtpath,'r') as csvfile: reader = csv.reader(csvfile) header = next(reader) data = [] for line in rea

  • thinkphp5框架实现数据库读取的数据转换成json格式示例

    thinkphp5框架实现数据库读取的数据转换成json格式示例

    本文实例讲述了thinkphp5框架实现数据库读取的数据转换成json格式.分享给大家供大家参考,具体如下: 首先从数据库读数据,然后调用list_to_tree方法,再调用findchild方法,最后输出 $category = DB::name('Category'); $category_list = $category->select(); $data=$this->list_to_tree($category_list,'category_id','category_parent_i

随机推荐